iT邦幫忙

鐵人檔案

2024 iThome 鐵人賽
回列表
AI/ ML & Data

一個Kaggle金牌解法是如何誕生的?跟隨Kaggle NLP競賽高手的討論,探索解題脈絡 系列

本系列文章有別於其他僅關注最終Kaggle競賽獲獎方案的文章,我們將聚焦於Kaggle NLP競賽討論區中的智慧火花,逐步展現這些解法是如何從討論中誕生的。最終的解決方案固然重要,但更重要的是探討這些解決方案是如何產生的。希望通過這種方式,讀者能夠學會在面對新的賽題時,應該從哪些角度進行觀察與思考。

初期,我們將從一些傳統的自然語言處理(NLP)賽題入手,如文本分類等;而在中後期,我們將重點聚焦在近兩年來大型語言模型(LLM)相關的賽題。通過實際案例和深度剖析,本系列將呈現一場技術與創新的饗宴,幫助讀者在未來的比賽中獲得更多的靈感與洞見。

鐵人鍊成 | 共 30 篇文章 | 4 人訂閱 訂閱系列文 RSS系列文
DAY 11

[Day 11]🧟你是個準一級LLM咒言師嗎?-淺談 prompt 逆向工程

有時候,大型語言模型(LLM)並不總是按照我們的意願工作。馬上12點快到了,你可能希望chatgpt趕快將一篇你正在寫的鐵人賽文章改寫得生動有趣、增加觸及,但...

2024-09-25 ‧ 由 壓縮甜 分享
DAY 12

[Day 12]🧟成為特級LLM咒言師的第一天 - 你找得到最優 Mean Prompt 嗎 ?從 text2text 到 vec2text

大家應該都很習慣跟LLM聊天時,輸入文字然後 LLM 就會輸出文字的這個 text2(to)text 的過程。今天要教大家怎麼操作向量空間中的 embeddin...

2024-09-26 ‧ 由 壓縮甜 分享
DAY 13

[Day 13]🧟成為特級LLM咒言師的第二天 - 找 Mean Prompt 不用那麼麻煩:分佈相似度驅動的Mean Prompt優化

不知道你會不會覺得,昨天介紹的解法中,第一步「不斷迭代 mean prompt 以優化這個 prompt」,需要每做1個或n個對 token 的操作,就上傳到...

2024-09-27 ‧ 由 壓縮甜 分享
DAY 14

[Day14]🧟成為特級LLM咒言師的第三天 - All you need is just "lucrarea" :淺談文本對抗攻擊(Adversarial Attack)原理篇

對圖像做 adversarial attack 可能你已經很熟悉了,今天帶大家來看看怎麼對文本做對抗攻擊。第一名的 solution 就使用到 adversar...

2024-09-28 ‧ 由 壓縮甜 分享
DAY 15

[Day 15]🧟成為特級LLM咒言師的第四天 - 為什麼"lucrarea"咒語會這麼強大?一些實驗設計與思考 - 淺談文本對抗攻擊(Adversarial Attack)實作篇

昨天提到第一名利用 T5-base 模型的弱點,在提交的 prompt 後面瘋狂重複"lucrarea"這個神秘咒語,就能有效提高自身和正確...

2024-09-29 ‧ 由 壓縮甜 分享
DAY 16

[Day 16]輕量級模型能否在複雜科學問題上追平ChatGPT呢?- OOM了怎麼辦?淺談 LLM 分層加載技術(layer-wise loading)、Perplexity 與 RAG 策略

在霓虹閃爍的賽博朋克城市深處,隱藏著一個不為人知的秘密競技場。這裡不再有血肉之軀的戰鬥,而是智能模型之間的對決。 在這個地下世界里,參賽者們扮演著勇敢的戰士,...

2024-09-30 ‧ 由 壓縮甜 分享
DAY 17

[Day 17]🧐如何利用LLM生成High Quality的增強版訓練數據集?

如何產生一個優質的 dataset 來增強訓練? 生成優質的資料集需要考慮哪些事情呢? 昨天我們介紹這個比賽的時候,有提到主辦方只給我們少量的訓練資料(20...

2024-10-01 ‧ 由 壓縮甜 分享
DAY 18

[Day18]🧐如何選擇適合特定任務的 LLM?深入分析評測 LLM 常用的 Benchmark 與 Leaderboard

近一兩年,不管是開源或閉源,全世界的大模型競賽已呈現出白熱化的局面,市場上湧現出數量眾多的模型。各大實驗室和企業大廠不僅注重模型參數、效能的提升,還常在宣傳中強...

2024-10-02 ‧ 由 壓縮甜 分享
DAY 19

[Day 19]Data-Model-Model Training! 淺談如何在有限的資源上高效地訓練LLM

今天會帶大家使用 unsloth 這個好用的 library ,在單張消費級顯卡上微調自己的大語言模型🚀🚀! 前情提要 Day 17我們結合多種不同資料來源與技...

2024-10-03 ‧ 由 壓縮甜 分享
DAY 20

[Day20]Encoder-only 與 Decoder-only 的路線之爭?淺談 Decoder-only 架構驅動的 RAG Pipeline 建置

[Day16]我們討論了本次賽題的兩種 baseline 的作法,一種是訓練 deberta 做 Multi-Class 或者是 Multi-Label 的任務...

2024-10-04 ‧ 由 壓縮甜 分享