鐵人檔案
現代化的系統絕大多數都會嵌入並使用大量的AI功能，然而 AI服務天生具備的不確定性與高成本的考量會改變系統設計的思路與方向，這次希望透過鐵人賽將個人在AI系統設計的經驗完整彙整呈現，並且針對現在最重要的模型客製化設計進行補強。
引言 前一陣子因為準備 AI 相關職缺的面試，我重新整理了一輪 Generative AI、System Design、RAG、Agent、Fine-tunin...
昨天提到，這次鐵人賽想從 System Engineering 的角度重新整理 AI 系統設計。第二天我想先處理一個最基礎的問題：當 AI 被放進既有的軟體系統...
很多人第一次做 AI System Design，直覺反應是先畫架構圖：資料來源、RAG、Vector Database、LLM、Agent、Memory、To...
如果今天要設計一個同時支援售前與售後的電商 AI 客服，你會怎麼設計？ 這是前一陣子準備外商 System Design 面試時剛好遇到一題，這題很適合拿來當作...
延續昨天用電商 AI 客服的案例，從最小 Baseline 開始拆 System Design。 如果使用者問「跑步鞋和休閒鞋有什麼差別？」這是一個通用知識問題...
從原始文件到可檢索知識，有哪些要考慮? 昨天提到，當 Baseline 缺少外部知識時，第一步不是直接建立 Vector Database，而是先找出真正的 S...
明明資料裡有答案，為什麼 RAG 還是會找錯？ 昨天談完文件匯入與索引流程，我們已經把 PDF、PowerPoint、表格與其他原始資料，轉換成可以被搜尋的 C...
資料找到了，為什麼 AI 還是會看漏？ 昨天談到 Retrieval 的目的不是找出最相似的文字，而是找回足以支持答案的證據。假設使用者問：「升級到 3.2.1...
答案有引用，為什麼還是不能相信？ 昨天我們把 Retrieved Evidence 整理成 Evidence Packet：去除重複內容、確認版本與時效、標示來...
Faithfulness 0.62，然後呢？ 昨天我們替 Grounded Generation 加上三道閘門。但系統改完後，怎麼知道它真的變好了？ 最常見的做...
