第二十五天: MoE 實作 Auxiliary-Loss
前情提要
昨天基本上已經把 inference 的 MoE 完成了,但還沒有談到如何平衡負載
參考文...
工欲善其事,必先利其器,所以今天呢,我們要先來把 Ansible 的環境給弄好。
那因為筆者自己用的是 macOS,所以今後的文章還是會以 macOS 為主。...
Day 1 確立了專案目標後,今天要來聊聊專案會用到的各種技術框架與整體系統架構。
技術棧 (Technology Stack)
在工具的選擇上,考量到與目前工...
在 ClickHouse 的高性能查詢背後,除了列式儲存與向量化執行外,「壓縮技術」與「資料跳過索引(Data Skipping Indexes)」也是讓它能夠...
分散式資料庫除了 Data Sharding 關鍵技術外,跨 Server Transaction 實作 ACID 功能也很重要,然而當資料分散在不同資料庫後,...
在這段收集使用者回饋的時間裡,除了平台使用上的一些小問題之外,孩子的媽也提出了一個新的需求:
能不能在平台裡加入單字學習的功能?
確實,既然孩子每天都會透過任務...