鐵人檔案
本系列將從零實作一套輕量級 AI Agent 測試驗證系統，聚焦於 Trace、Eval 與 Guardrails 三個核心面向。不同於只展示 Agent 最終回答，本系列會記錄 Agent 的執行過程、工具呼叫、輸出結果與錯誤狀態，讓原本黑盒的 Agent 行為變得可觀察。接著建立測試資料集與自動評分流程，分析 Agent 的成功率、失敗類型與穩定性。最後加入輸出格式驗證、Retry 與工具權限限制等 Guardrails，觀察這些機制是否能提升 Agent 的可靠性。透過 30 天實作，探索 AI Agent 從開發到落地前所需的測試、追蹤與驗證流程
前言 Day 10 我們建立了第一組 Eval Dataset。 目前 evals/cases.json 裡已經有 15 筆測試案例，包含： calculat...
前言 Day 11 我們完成了 Batch Evaluation Runner。 目前 runner 已經可以： 讀取 evals/cases.json -...
前言 Day 12 我們替 Batch Evaluation Runner 加上了最基本的自動評分。 目前 evaluator 已經支援兩種評分方式： exac...
前言 第二週我們開始處理這個系列的第二個主題：Eval。 第一週的 Trace 讓我們可以回答： Agent 執行過程中發生了什麼？ 第二週的 Eval 則開...
前言 Day 14 我們整理了第一份 Agent 評測報告。 到目前為止，平台已經可以做到： evals/cases.json -> batch ru...
前言 Day 15 我們把 Agent 從 FakeLLMClient 接到 Gemini Flash。 接上真正的 LLM 後，evaluation resu...
前言 Day 16 我們把 evaluation result 從單純的： { "passed": false, "fai...
