前情提要
在去年寫了"菜鳥AI工程師給碩班學弟妹的挑戰" 這一系列的文章,在當中介紹了 pytorch lightning 框架及實作,放到...
第二十五天: MoE 實作 Auxiliary-Loss
前情提要
昨天基本上已經把 inference 的 MoE 完成了,但還沒有談到如何平衡負載
參考文...
歡迎來到資料科學中的線性代數第一天~
前言與背景介紹
本人先來做個背景介紹,相信如果我這個學渣能夠學會接下來的內容,你也一定可以做到!!我呢高中讀的是私立的高職...
今天要說的就是 AI Agent 的核心模組,這邊主要是整理《The Landscape of Emerging AI Agent Architectures...
前情提要
昨天我們已經將 GQA 分步驟實作完了,目前大部分 LLM 都是走這種架構,所以了解一下。
參考文章 & 圖片來源
https://www.c...
前言
在《為什麼我改用 Iceberg》系列中,我從成本與效能的角度,說明了將 Google BigQuery 替換為 Trino + Iceberg on...