iT 邦幫忙::一起幫忙解決難題，拯救 IT 人的一天

1 Like 1 留言 800 瀏覽

鐵人賽 AI/ ML & Data DAY 30

一個Kaggle金牌解法是如何誕生的？跟隨Kaggle NLP競賽高手的討論，探索解題脈絡系列第 30 篇

技術 [Day 30]告別複雜巨獸 - 一起看第八名的小清新解法與IT鐵人賽後回望

前面介紹的方法又是擴增一堆訓練數據集，又是 ensemble 一堆不同架構、不同訓練方法的模型，真的心滿累的。所以，今天要跟大家分享的是本次賽題第八名的作法，...

壓縮甜 ‧ 2024-10-14

1 Like 0 留言 721 瀏覽

鐵人賽 AI/ ML & Data DAY 29

一個Kaggle金牌解法是如何誕生的？跟隨Kaggle NLP競賽高手的討論，探索解題脈絡系列第 29 篇

技術 [Day 29]模型與資料的超級 ensemble 體 - 淺談 Curriculum Learning 訓練方法與 Ghostbuster (捉鬼人)如何識別 AI 和人類作文

今天來學習一下第一名和第三名包山包海的 ensemble 大法。 🥇1st Solution 第一名的解法不愧是第一名，他們真的花好多 effort 在解這個賽...

壓縮甜 ‧ 2024-10-13

1 Like 0 留言 702 瀏覽

鐵人賽 AI/ ML & Data DAY 28

一個Kaggle金牌解法是如何誕生的？跟隨Kaggle NLP競賽高手的討論，探索解題脈絡系列第 28 篇

技術 [Day 28]不講武德的Host-不能太倚賴錯字率，一起看第二名「復刻米其林三星料理式」的資料擴增法，與「雞蛋放兩籃」的 ensemble 思路

我很喜歡今天介紹的第二名的 solution，在研究的時候有一種「啊哈moment」的快樂。昨天我們分享將文章轉成 TF-IDF 向量後送進 Logisti...

壓縮甜 ‧ 2024-10-12

1 Like 0 留言 810 瀏覽

鐵人賽 AI/ ML & Data DAY 27

一個Kaggle金牌解法是如何誕生的？跟隨Kaggle NLP競賽高手的討論，探索解題脈絡系列第 27 篇

技術 [Day 27]照妖(AI)鏡下的秘密-利用TF-IDF、BPE編碼、Kmeans Cluster和DetectGPT技術區分人類與AI寫作

標題提到一堆技術名詞...別擔心，今天都會串起來，像一個偵探故事一樣，每種技術都是線索，幫助我們揪出到底誰找 AI 當槍手。👀 前言昨天我們聊到僅用「錯字率」...

壓縮甜 ‧ 2024-10-11

1 Like 0 留言 539 瀏覽

鐵人賽 AI/ ML & Data DAY 26

一個Kaggle金牌解法是如何誕生的？跟隨Kaggle NLP競賽高手的討論，探索解題脈絡系列第 26 篇

技術 [Day 26]"是人是AI，一照便知" - 沒想到最終能找出LLM槍手的原因，是因為LLM太完美了?!

自從2023年大型語言模型如ChatGPT火起來後，這些AI不僅能寫出幾乎和人一樣的文章，還開始影響學生的學習方式。雖然這讓寫作業變得簡單了，但也可能讓學生們...

壓縮甜 ‧ 2024-10-10

1 Like 0 留言 201 瀏覽

鐵人賽 AI/ ML & Data DAY 21

一個Kaggle金牌解法是如何誕生的？跟隨Kaggle NLP競賽高手的討論，探索解題脈絡系列第 21 篇

技術 [Day 21]不爭了！小孩才做選擇，大人全都要！淺談 Hybrid 架構驅動的 RAG Pipeline 建置與賽題大補帖！

今天會在分析眾多優秀解法後，從本次賽題的經驗，總結建立一個 RAG 系統最重要的幾個要點。 📢 作者有話要說：(10/5更新)我在 Day 20 補充第五名的多...

壓縮甜 ‧ 2024-10-05

1 Like 0 留言 356 瀏覽

鐵人賽 AI/ ML & Data DAY 20

一個Kaggle金牌解法是如何誕生的？跟隨Kaggle NLP競賽高手的討論，探索解題脈絡系列第 20 篇

技術 [Day20]Encoder-only 與 Decoder-only 的路線之爭？淺談 Decoder-only 架構驅動的 RAG Pipeline 建置

[Day16]我們討論了本次賽題的兩種 baseline 的作法，一種是訓練 deberta 做 Multi-Class 或者是 Multi-Label 的任務...

壓縮甜 ‧ 2024-10-04

1 Like 0 留言 315 瀏覽

鐵人賽 AI/ ML & Data DAY 19

一個Kaggle金牌解法是如何誕生的？跟隨Kaggle NLP競賽高手的討論，探索解題脈絡系列第 19 篇

技術 [Day 19]Data-Model-Model Training! 淺談如何在有限的資源上高效地訓練LLM

今天會帶大家使用 unsloth 這個好用的 library ，在單張消費級顯卡上微調自己的大語言模型🚀🚀！前情提要 Day 17我們結合多種不同資料來源與技...

壓縮甜 ‧ 2024-10-03

1 Like 0 留言 403 瀏覽

鐵人賽 AI/ ML & Data DAY 18

一個Kaggle金牌解法是如何誕生的？跟隨Kaggle NLP競賽高手的討論，探索解題脈絡系列第 18 篇

技術 [Day18]🧐如何選擇適合特定任務的 LLM？深入分析評測 LLM 常用的 Benchmark 與 Leaderboard

近一兩年，不管是開源或閉源，全世界的大模型競賽已呈現出白熱化的局面，市場上湧現出數量眾多的模型。各大實驗室和企業大廠不僅注重模型參數、效能的提升，還常在宣傳中強...

壓縮甜 ‧ 2024-10-02

1 Like 0 留言 231 瀏覽

鐵人賽 AI/ ML & Data DAY 17

一個Kaggle金牌解法是如何誕生的？跟隨Kaggle NLP競賽高手的討論，探索解題脈絡系列第 17 篇

技術 [Day 17]🧐如何利用LLM生成High Quality的增強版訓練數據集？

如何產生一個優質的 dataset 來增強訓練？生成優質的資料集需要考慮哪些事情呢？昨天我們介紹這個比賽的時候，有提到主辦方只給我們少量的訓練資料(20...

壓縮甜 ‧ 2024-10-01

0 Like 0 留言 98 瀏覽

鐵人賽 AI/ ML & Data DAY 20

軟體工程師的脫魯日誌-持續介紹hardcore AI研究直到脫魯🥹 系列第 20 篇

技術 Day20: 使用Flask來架設自己的TOD Chatbot互動網站

我們在【Day17:TOD版的DialoGPT-ConvLab實作】介紹如何建構一個TOD對話系統，那今天我們來續講如何利用ConvLab-3來架設一個互動網站...

渴望脫魯的SWE ‧ 2024-10-04

1 Like 0 留言 211 瀏覽

鐵人賽 AI/ ML & Data DAY 16

一個Kaggle金牌解法是如何誕生的？跟隨Kaggle NLP競賽高手的討論，探索解題脈絡系列第 16 篇

技術 [Day 16]輕量級模型能否在複雜科學問題上追平ChatGPT呢？- OOM了怎麼辦？淺談 LLM 分層加載技術（layer-wise loading）、Perplexity 與 RAG 策略

在霓虹閃爍的賽博朋克城市深處，隱藏著一個不為人知的秘密競技場。這裡不再有血肉之軀的戰鬥，而是智能模型之間的對決。在這個地下世界里，參賽者們扮演著勇敢的戰士，...

壓縮甜 ‧ 2024-09-30

1 Like 0 留言 193 瀏覽

鐵人賽 AI/ ML & Data DAY 15

一個Kaggle金牌解法是如何誕生的？跟隨Kaggle NLP競賽高手的討論，探索解題脈絡系列第 15 篇

技術 [Day 15]🧟成為特級LLM咒言師的第四天 - 為什麼"lucrarea"咒語會這麼強大？一些實驗設計與思考 - 淺談文本對抗攻擊(Adversarial Attack)實作篇

昨天提到第一名利用 T5-base 模型的弱點，在提交的 prompt 後面瘋狂重複"lucrarea"這個神秘咒語，就能有效提高自身和正確...

壓縮甜 ‧ 2024-09-29

1 Like 0 留言 191 瀏覽

鐵人賽 AI/ ML & Data DAY 14

一個Kaggle金牌解法是如何誕生的？跟隨Kaggle NLP競賽高手的討論，探索解題脈絡系列第 14 篇

技術 [Day14]🧟成為特級LLM咒言師的第三天 - All you need is just "lucrarea" ：淺談文本對抗攻擊(Adversarial Attack)原理篇

對圖像做 adversarial attack 可能你已經很熟悉了，今天帶大家來看看怎麼對文本做對抗攻擊。第一名的 solution 就使用到 adversar...

壓縮甜 ‧ 2024-09-28

1 Like 0 留言 140 瀏覽

鐵人賽 AI/ ML & Data DAY 13

一個Kaggle金牌解法是如何誕生的？跟隨Kaggle NLP競賽高手的討論，探索解題脈絡系列第 13 篇

技術 [Day 13]🧟成為特級LLM咒言師的第二天 - 找 Mean Prompt 不用那麼麻煩：分佈相似度驅動的Mean Prompt優化

不知道你會不會覺得，昨天介紹的解法中，第一步「不斷迭代 mean prompt 以優化這個 prompt」，需要每做1個或n個對 token 的操作，就上傳到...

壓縮甜 ‧ 2024-09-27

1 Like 1 留言 179 瀏覽

鐵人賽 AI/ ML & Data DAY 12

一個Kaggle金牌解法是如何誕生的？跟隨Kaggle NLP競賽高手的討論，探索解題脈絡系列第 12 篇

技術 [Day 12]🧟成為特級LLM咒言師的第一天 - 你找得到最優 Mean Prompt 嗎？從 text2text 到 vec2text

大家應該都很習慣跟LLM聊天時，輸入文字然後 LLM 就會輸出文字的這個 text2(to)text 的過程。今天要教大家怎麼操作向量空間中的 embeddin...

壓縮甜 ‧ 2024-09-26

1 Like 0 留言 239 瀏覽

鐵人賽 AI/ ML & Data DAY 11

一個Kaggle金牌解法是如何誕生的？跟隨Kaggle NLP競賽高手的討論，探索解題脈絡系列第 11 篇

技術 [Day 11]🧟你是個準一級LLM咒言師嗎？-淺談 prompt 逆向工程

有時候，大型語言模型（LLM）並不總是按照我們的意願工作。馬上12點快到了，你可能希望chatgpt趕快將一篇你正在寫的鐵人賽文章改寫得生動有趣、增加觸及，但...

壓縮甜 ‧ 2024-09-25

1 Like 0 留言 194 瀏覽

鐵人賽 AI/ ML & Data DAY 10

一個Kaggle金牌解法是如何誕生的？跟隨Kaggle NLP競賽高手的討論，探索解題脈絡系列第 10 篇

技術 [Day 10]Head Mask Pooling 池化大法好🪄🦄-解析第二三名的優勝作法：Head Mask Pooling 與 Multi-Task Learning

在看了一堆解法分享後，看到第二名的做法真的會眼前一亮🤩，而且是絕對可以低成本偷學帶到其他賽題繼續使用的！我們直接切入正題： 🥈 2nd Solution 第二...

壓縮甜 ‧ 2024-09-24

1 Like 0 留言 204 瀏覽

鐵人賽 AI/ ML & Data DAY 9

一個Kaggle金牌解法是如何誕生的？跟隨Kaggle NLP競賽高手的討論，探索解題脈絡系列第 9 篇

技術 [Day 9] Data "Diversity" is King! 運用 LLM 和 Meta Pseudo Labeling 擴增數據集, 佐以 DeBERTa 和 LBGM 的多模態策略

今天會帶大家一步一步解析本賽題第一名🥇的思路🤩，在過程中可以學到如何使用 LLM 生成 high quality 的假資料，並用 Meta pseudo lab...

壓縮甜 ‧ 2024-09-23

1 Like 0 留言 128 瀏覽

鐵人賽 AI/ ML & Data DAY 8

一個Kaggle金牌解法是如何誕生的？跟隨Kaggle NLP競賽高手的討論，探索解題脈絡系列第 8 篇

技術 [Day 8]別著急訓練模型，挖掘好用的 feature 是成功的一半: 結合 EDA 實戰演練（下）與 LGBM 模型，一起打一套組合拳吧！

前情提要昨天我們提出訓練資料中那 426 筆超低分的 data ，可能是因為學生抄襲所以被懲罰才得到全部一模一樣的超低分。我們今天要透過回答下面這三個問題來...

壓縮甜 ‧ 2024-09-22

1 Like 0 留言 179 瀏覽

鐵人賽 AI/ ML & Data DAY 7

一個Kaggle金牌解法是如何誕生的？跟隨Kaggle NLP競賽高手的討論，探索解題脈絡系列第 7 篇

技術 [Day 7]別著急訓練模型，挖掘好用的 feature 是成功的一半: EDA 實戰演練（中）- 從 Linguistic 和 Semantic 的角度計算文本相似度

EDA (進階版) 🤔 摘要寫得和原文越像，老師給的分數會越高嗎？直覺上來說，摘要和原文一點都不像，應該會超低分，代表根本沒有在根據原文寫作；但如果和原文一字...

壓縮甜 ‧ 2024-09-21

1 Like 0 留言 210 瀏覽

鐵人賽 AI/ ML & Data DAY 6

一個Kaggle金牌解法是如何誕生的？跟隨Kaggle NLP競賽高手的討論，探索解題脈絡系列第 6 篇

技術 [Day 6] 別著急訓練模型，挖掘好用的 feature 是成功的一半: EDA 實戰演練（上）

在一個充滿活力的校園里，安娜老師是深受學生喜愛的教師。但是這幾年她發現，在這個信息爆炸的時代，擁有良好的摘要能力變得尤為重要。然而，許多學生在總結時往往抓不住...

壓縮甜 ‧ 2024-09-20

0 Like 0 留言 273 瀏覽

鐵人賽 AI/ ML & Data DAY 6

AI Unlocked: 30 Days to AI Brilliance 系列第 6 篇

技術 AI如何理解我們的語言：自然語言處理(NLP)

隨著人工智慧技術的不斷發展，AI已經能夠像人類一樣理解和生成語言，這背後的核心技術就是自然語言處理（NLP）。無論是客服機器人、語音助手，還是語言翻譯，NLP的...

leeangel ‧ 2024-09-20 ‧團隊資工之花

2 Like 0 留言 248 瀏覽

鐵人賽 AI/ ML & Data DAY 5

一個Kaggle金牌解法是如何誕生的？跟隨Kaggle NLP競賽高手的討論，探索解題脈絡系列第 5 篇

技術 [Day 5] Kaggle 自動作文評分競賽（四）- 前四名優勝作法解析：彼此制衡的兩階段式微調、發揮奇效的 pseudo-labeling、集成多種 BERT Pooling 與最優化策略

前情提要昨天我們從主題建模、prompt name 與 score 的分佈等，更全面地探勘本次賽題的訓練資料集；也透過設計一些專用於這種 code compe...

壓縮甜 ‧ 2024-09-19

1 Like 0 留言 308 瀏覽

鐵人賽 AI/ ML & Data DAY 4

一個Kaggle金牌解法是如何誕生的？跟隨Kaggle NLP競賽高手的討論，探索解題脈絡系列第 4 篇

技術 [Day 4] 探究 Train vs. Test Set 的真實差距:善用 Topic Modeling, Cross / Adversarial Validation等實用技巧！

前情提要在前一天的內容中，我們透過設計提交 Simple Baseline 和 Retrieval-based Method 來間接地確認 hidden te...

壓縮甜 ‧ 2024-09-18

1 Like 0 留言 253 瀏覽

鐵人賽 AI/ ML & Data DAY 3

一個Kaggle金牌解法是如何誕生的？跟隨Kaggle NLP競賽高手的討論，探索解題脈絡系列第 3 篇

技術 [Day 3] Kaggle 自動作文評分競賽（二）- 比賽用的隱藏測試資料也和訓練資料一樣，有同樣的來源嗎？

前情提要昨天通過一番資料分析，確認主辦方提供的 17,307 筆 training data 中，有 12,873 筆完全一模一樣的 essay 內容出現在...

壓縮甜 ‧ 2024-09-17

1 Like 0 留言 328 瀏覽

鐵人賽 AI/ ML & Data DAY 2

一個Kaggle金牌解法是如何誕生的？跟隨Kaggle NLP競賽高手的討論，探索解題脈絡系列第 2 篇

技術 [Day 2] Kaggle 自動作文評分競賽（一）- 淺談數據洩露與內容匹配：如何確認訓練數據中的潛在泄漏？

在一個平凡的周末午後，高中老師安娜埋首於堆積如山的學生作文中。每一篇作文都承載著學生們的心血與努力，但三個班每人每週一篇長文寫作，安娜的批改速度總是趕不上學生...

壓縮甜 ‧ 2024-09-16

1 Like 0 留言 321 瀏覽

鐵人賽 AI/ ML & Data DAY 1

一個Kaggle金牌解法是如何誕生的？跟隨Kaggle NLP競賽高手的討論，探索解題脈絡系列第 1 篇

技術 [Day 1] 緣起與文章主題介紹

緣起如果你剛踏入數據科學的世界，那你一定聽說過 Kaggle 這個神奇的地方。Kaggle 是一個全球最大的數據科學競賽平台，匯聚了來自世界各地的數據愛好者和...

壓縮甜 ‧ 2024-09-15

0 Like 0 留言 1110 瀏覽

鐵人賽 AI & Data DAY 29

關於我從基礎程設轉職到人工智慧入門系列第 29 篇

技術 [DAY29] 機器學習 - 自然語言NLP(二)

主題建模確定它分析的每個文本或文檔中的主題從整體文本數據推斷主題集群將包含類似主題集群的文本或文檔組合在一起文本聚合將包含相似主題的文字或文件組...

泉韵 ‧ 2023-10-14 ‧團隊每件事都壓死線的大家真的可以完賽嗎？

0 Like 0 留言 818 瀏覽

鐵人賽自我挑戰組 DAY 10

30天從零開始學習NLP(自然語言處理) 系列第 10 篇

技術 Day 10 - 使用 Transformers (1)

在 Day5 的時候我們有提到 Hugging Face 的 Transformers 函式庫的一點介紹和例子，那這章會在深入它的相關使用和比較詳細的介紹。(裡...

肉彈 ‧ 2023-09-25