前情提要
前兩天介紹了資源估計的概念,大概知道了 attention 為什麼有序列長度二次方的關係,那在 inference 怎麼樣去做優化,這就是今天要介紹的...
Day02 | Rosalind 生資解題 - INI1. Installing Python
首先從 Python新手村 的題目開始做起。
題目連結:http...
歡迎來到本系列
歡迎來到 「Notion 遇上 LLM:30 天打造我的 AI 知識管理系統」。在接下來的一個月裡,我會帶你一步步實作,從需求分析、系統架構設計...
前情提要
昨天介紹完了 kv cache,觀念上很簡單,就是空間換取時間,但背後其實有很多優化的技巧等等。
底下以 nanoVLM 的 code 來做解析,程式...
前情提要
昨天已經把位置編碼的演進介紹完了,需要考慮的點蠻多的。
參考來源:
https://www.cnblogs.com/rossiXYZ/p/187447...
今天本來要說極限梯度提升數 (XGBoost),但是我發現後面的篇幅可能快不夠了,今天開始的內容會調整成,無監督式學習 → 深度學習 → 如果有時間再回來補充...