前言:沒有描述的數據是天書
經過前幾天的修煉,我們有了數據(新石油),認識了數據英雄,也為數據蓋好了房子(資料庫、倉儲、資料湖)。但問題來了,當資料湖裡堆滿了成...
我的模型可以喂進整本哈利波特!!
每次有新的 AI 模型推出,我們總是會看到這樣的宣傳:「上下文窗口達到 XXX 萬個 tokens!可以容納 X 本哈利波特全...
⚡《AI 知識系統建造日誌》這不是一篇純技術文章,而是一場工程師的魔法冒險。程式是咒語、流程是魔法陣、錯誤訊息則是黑暗詛咒。請準備好你的魔杖(鍵盤),今天,我們...
第二十五天: MoE 實作 Auxiliary-Loss
前情提要
昨天基本上已經把 inference 的 MoE 完成了,但還沒有談到如何平衡負載
參考文...
還記得昨天我們聊的嗎?提示詞就像是指揮棒,能把模型從「亂猜」拉回正軌。可是就算你指揮得再精準,大型語言模型還是有一個很難避免的毛病——幻覺(Hallucinat...
前言
昨天我們快速比較了 AI、ML、DL 的差異,並提到 ML 的一大類型是 監督式學習 (Supervised Learning)。那麼,監督式學習究竟是怎...