本系列文章有別於其他僅關注最終Kaggle競賽獲獎方案的文章,我們將聚焦於Kaggle NLP競賽討論區中的智慧火花,逐步展現這些解法是如何從討論中誕生的。最終的解決方案固然重要,但更重要的是探討這些解決方案是如何產生的。希望通過這種方式,讀者能夠學會在面對新的賽題時,應該從哪些角度進行觀察與思考。
初期,我們將從一些傳統的自然語言處理(NLP)賽題入手,如文本分類等;而在中後期,我們將重點聚焦在近兩年來大型語言模型(LLM)相關的賽題。通過實際案例和深度剖析,本系列將呈現一場技術與創新的饗宴,幫助讀者在未來的比賽中獲得更多的靈感與洞見。
有時候,大型語言模型(LLM)並不總是按照我們的意願工作。馬上12點快到了,你可能希望chatgpt趕快將一篇你正在寫的鐵人賽文章改寫得生動有趣、增加觸及,但...
大家應該都很習慣跟LLM聊天時,輸入文字然後 LLM 就會輸出文字的這個 text2(to)text 的過程。今天要教大家怎麼操作向量空間中的 embeddin...
不知道你會不會覺得,昨天介紹的解法中,第一步「不斷迭代 mean prompt 以優化這個 prompt」,需要每做1個或n個對 token 的操作,就上傳到...
對圖像做 adversarial attack 可能你已經很熟悉了,今天帶大家來看看怎麼對文本做對抗攻擊。第一名的 solution 就使用到 adversar...
昨天提到第一名利用 T5-base 模型的弱點,在提交的 prompt 後面瘋狂重複"lucrarea"這個神秘咒語,就能有效提高自身和正確...
在霓虹閃爍的賽博朋克城市深處,隱藏著一個不為人知的秘密競技場。這裡不再有血肉之軀的戰鬥,而是智能模型之間的對決。 在這個地下世界里,參賽者們扮演著勇敢的戰士,...
如何產生一個優質的 dataset 來增強訓練? 生成優質的資料集需要考慮哪些事情呢? 昨天我們介紹這個比賽的時候,有提到主辦方只給我們少量的訓練資料(20...
近一兩年,不管是開源或閉源,全世界的大模型競賽已呈現出白熱化的局面,市場上湧現出數量眾多的模型。各大實驗室和企業大廠不僅注重模型參數、效能的提升,還常在宣傳中強...
今天會帶大家使用 unsloth 這個好用的 library ,在單張消費級顯卡上微調自己的大語言模型🚀🚀! 前情提要 Day 17我們結合多種不同資料來源與技...
[Day16]我們討論了本次賽題的兩種 baseline 的作法,一種是訓練 deberta 做 Multi-Class 或者是 Multi-Label 的任務...