鐵人檔案
當 AI 的任務從「回答問題」進一步變成「規劃、搜尋、寫程式、執行與驗證」，單一 Agent 很快就會碰到 Context 過長、角色混亂、工具失控，以及成本快速上升等問題。
因此，這個 30 天系列將不同於過去的內容，不再只聚焦於單一模型，而是開始探討 AI 之間如何分工、協作與互相驗證。從 Transformer、Context Window、Sampling，到模型微調與 Agent 架構，逐步拆解背後的核心技術，最後親手打造一套真正能運作的 Multi-Agent LLM 系統。
為什麼要做這件事 市面上很多 AI Agent 的文章，流程大概都長這樣：「今天教你打造 AI Agent！」然後串個 LangChain、接個 API、呼叫...
Autoregressive Decoding 我想大部分的人都知道 LLM 產生文字的方式是自回歸（Autoregressive），也就是每次只預測下一個 t...
Context Window 不是越大越好 還記得我們昨天說得 Attention 跟 KV Cache，目的是為了解決 Context 越長，推論成本越高 的...
昨天講到 Context Window 是短期工作記憶，RAG 負責動態補充長期知識。而今天要探討的問題是為什麼模型每次呼叫，結果可能會不一樣？ 這個概念其實相...
一個沒受過訓練的模型，根本聽不懂你在說什麼 在一個模型被發布出來的時候，通常具備最強大能力的，反而是剛完成 Pretraining 的基礎模型（Base Mod...
今天我們要談談這些LLM系統裡最麻煩的問題之一Hallucination（幻覺），這個問題導致了模型用非常肯定的語氣，講出完全錯誤的內容，甚至你一直糾正他後他還...
前面已經掌握了後續實作所需的理論基礎，因此從接下來幾天開始我們不會再花太多篇幅停留在理論，而是直接進入實作，在動手寫程式的過程中，一步步理解這些知識該如何真正應...
昨天我們的 naive_chunk 有個很大的問題它每 100 個字就切一刀，完全不管句子講完了沒。不過當時的知識庫只有 5 句話，每句都不到 100 個字，它...
