鐵人檔案
現代化的系統絕大多數都會嵌入並使用大量的AI功能，然而 AI服務天生具備的不確定性與高成本的考量會改變系統設計的思路與方向，這次希望透過鐵人賽將個人在AI系統設計的經驗完整彙整呈現，並且針對現在最重要的模型客製化設計進行補強。
退款 Agent 上線後，很快遇到一個看似合理的問題。 客服要理解使用者的需求，政策要判斷退款資格，付款系統則要真的把錢退回去。既然工作本來就分成三種，何不乾脆...
退款 Agent 上線一段時間後，整理出一批失敗案例。 有時它引用舊版政策，有時漏掉例外條款；偶爾明明判斷可以退款，送給付款服務的參數卻不完整。最令人困擾的是，...
前面聊到：只有當資料、工具與執行流程都正確，模型仍穩定做錯同一類事情時，才需要考慮 Fine-tuning。 確認問題在模型之後，團隊通常會開始估算訓練資料量。...
前一篇整理了幾種常見的微調方式： SFT 適合用示範建立基本行為 偏好學習微調(DPO)用來表達兩種回答之間的取捨 強化學習微調(RLFT)則透過執行結果調整...
前一篇把正式環境的執行紀錄整理成可以訓練的資料：保留模型當時看得到的資訊，只讓值得模仿的動作參與訓練。 資料準備好之後，新的問題是：把這些示範交給 SFT，模型...
我們已經決定用 SFT，讓退款 Agent 從正確示範中學會如何查詢證據、選擇工具，以及在什麼時候停止。資料也不再只是完整保存一段成功紀錄，而是要呈現模型當下看...
我們已經用 SFT 讓退款 Agent 看過正確示範，也決定採用 LoRA 家族，只更新少量的任務差異參數。現在模型知道一個好答案大概長什麼樣子。 但正式環境很...
假設 DPO 已經通過未見偏好配對、實際生成與能力回歸等驗收，模型確實能在兩個合理回答之間，穩定偏好「先查證，再承諾」的版本。接下來很自然會遇到一個問題：既然模...
做過傳統 MLOps 的團隊，對模型發布的基本責任並不陌生 資料、模型與執行環境要能重建 候選版本先通過離線驗證，再以少量流量觀察 上線後持續監控服務等級目標...
第一天的開賽宣言提出了一個問題： 當模型不再只是單獨被呼叫的 API，而是真正參與資料取得、判斷與行動之後，原本熟悉的 System Design 有哪些地方...
