前面介紹的方法又是擴增一堆訓練數據集,又是 ensemble 一堆不同架構、不同訓練方法的模型,真的心滿累的。 所以,今天要跟大家分享的是本次賽題第八名的作法,...
今天來學習一下第一名和第三名包山包海的 ensemble 大法。 🥇1st Solution 第一名的解法不愧是第一名,他們真的花好多 effort 在解這個賽...
我很喜歡今天介紹的第二名的 solution,在研究的時候有一種 「啊哈moment」的快樂。 昨天我們分享將文章轉成 TF-IDF 向量後送進 Logisti...
標題提到一堆技術名詞...別擔心,今天都會串起來,像一個偵探故事一樣,每種技術都是線索,幫助我們揪出到底誰找 AI 當槍手。👀 前言 昨天我們聊到僅用「錯字率」...
自從2023年大型語言模型如ChatGPT火起來後,這些AI不僅能寫出幾乎和人一樣的文章,還開始影響學生的學習方式。雖然這讓寫作業變得簡單了,但也可能讓學生們...
前言 昨天我們介紹了第一名的作法,雖然很精彩,但是他們在前期的兩階段訓練中(可能也是最重要的一部分)耗費了對個人參賽者(非實驗室)來說巨大的算力(八張 H100...
第一名由 Numina 和 Hugging Face 的大佬們合作拿下,解決了private test set 中的 29/50 個問題,最終喜提美金 $131...
我們要如何利用「每次 LLM 的回覆都不一樣」這個現象,來增加產生正確答案的機率呢?今天會帶大家實際應用 self-consistency 到賽題中,並透過設計...
以前,來自世界各地的高中生每年都會參加國際數學奧林匹克競賽(IMO),解決代數、幾何和數論等領域的六個極具挑戰性的問題。今年4月,一項全新的競賽——AI數學奧...
今天會在分析眾多優秀解法後,從本次賽題的經驗,總結建立一個 RAG 系統最重要的幾個要點。 📢 作者有話要說:(10/5更新)我在 Day 20 補充第五名的多...
[Day16]我們討論了本次賽題的兩種 baseline 的作法,一種是訓練 deberta 做 Multi-Class 或者是 Multi-Label 的任務...
今天會帶大家使用 unsloth 這個好用的 library ,在單張消費級顯卡上微調自己的大語言模型🚀🚀! 前情提要 Day 17我們結合多種不同資料來源與技...
近一兩年,不管是開源或閉源,全世界的大模型競賽已呈現出白熱化的局面,市場上湧現出數量眾多的模型。各大實驗室和企業大廠不僅注重模型參數、效能的提升,還常在宣傳中強...
在霓虹閃爍的賽博朋克城市深處,隱藏著一個不為人知的秘密競技場。這裡不再有血肉之軀的戰鬥,而是智能模型之間的對決。 在這個地下世界里,參賽者們扮演著勇敢的戰士,...
昨天提到第一名利用 T5-base 模型的弱點,在提交的 prompt 後面瘋狂重複"lucrarea"這個神秘咒語,就能有效提高自身和正確...
對圖像做 adversarial attack 可能你已經很熟悉了,今天帶大家來看看怎麼對文本做對抗攻擊。第一名的 solution 就使用到 adversar...
不知道你會不會覺得,昨天介紹的解法中,第一步「不斷迭代 mean prompt 以優化這個 prompt」,需要每做1個或n個對 token 的操作,就上傳到...
大家應該都很習慣跟LLM聊天時,輸入文字然後 LLM 就會輸出文字的這個 text2(to)text 的過程。今天要教大家怎麼操作向量空間中的 embeddin...
有時候,大型語言模型(LLM)並不總是按照我們的意願工作。馬上12點快到了,你可能希望chatgpt趕快將一篇你正在寫的鐵人賽文章改寫得生動有趣、增加觸及,但...
在看了一堆解法分享後,看到第二名的做法真的會眼前一亮🤩,而且是絕對可以低成本偷學帶到其他賽題繼續使用的! 我們直接切入正題: 🥈 2nd Solution 第二...
今天會帶大家一步一步解析本賽題第一名🥇的思路🤩,在過程中可以學到如何使用 LLM 生成 high quality 的假資料,並用 Meta pseudo lab...
前情提要 昨天我們提出訓練資料中那 426 筆超低分的 data ,可能是因為學生抄襲所以被懲罰才得到全部一模一樣的超低分。 我們今天要透過回答下面這三個問題來...
EDA (進階版) 🤔 摘要寫得和原文越像,老師給的分數會越高嗎? 直覺上來說,摘要和原文一點都不像,應該會超低分,代表根本沒有在根據原文寫作;但如果和原文一字...
在一個充滿活力的校園里,安娜老師是深受學生喜愛的教師。但是這幾年她發現,在這個信息爆炸的時代,擁有良好的摘要能力變得尤為重要。然而,許多學生在總結時往往抓不住...
前情提要 昨天我們從主題建模、prompt name 與 score 的分佈等,更全面地探勘本次賽題的訓練資料集;也透過設計一些專用於這種 code compe...
前情提要 在前一天的內容中,我們透過設計提交 Simple Baseline 和 Retrieval-based Method 來間接地確認 hidden te...
前情提要 昨天通過一番資料分析,確認主辦方提供的 17,307 筆 training data 中,有 12,873 筆完全一模一樣的 essay 內容出現在...
在一個平凡的周末午後,高中老師安娜埋首於堆積如山的學生作文中。每一篇作文都承載著學生們的心血與努力,但三個班每人每週一篇長文寫作,安娜的批改速度總是趕不上學生...
緣起 如果你剛踏入數據科學的世界,那你一定聽說過 Kaggle 這個神奇的地方。Kaggle 是一個全球最大的數據科學競賽平台,匯聚了來自世界各地的數據愛好者和...
今天介紹的內容與 Day11、Day12 很像,我們需要建立資料集還有 DataLoader,首先我們先引入需要用到的套件,並且定義資料處理的流程: from...