昨天我們完成了最小可行版本 Echo Bot,用戶傳什麼、機器人就回什麼。今天的任務是把它放到雲端,讓它不需要開著本機電腦,也能 24 小時回應訊息。我選擇 R...
昨天我們學會了讓系統在過載時「踩煞車」,但還有個更重要的問題:外送員怎麼知道自己送到哪裡了?今天來聊聊 Checkpoint。
外送員的記憶難題:我送到第幾個包...
前情提要
昨天簡單介紹了 GQA 相關概念,但實際怎麼實作讓我們繼續看下去。
1. repeat_interleave vs expand
https://gi...
模組三:知識整合模組 (knowledge_integrator.py)
from typing import List, Dict, Any, Tuple
f...
從理論到實戰的關鍵一步
經過前面八天的學習,我們深入理解了 Context Rot 現象、RAG 技術,以及 Context Engineering 的完整藍圖...
前情提要
昨天分步驟講解如何實作 self-attention,如果照著步驟依序思考,相信你應該了解大概。
參考文章: https://www.cnblogs....