昨天用 Precision、Recall、F1 量出了評估器準不準。

但量出來「不準」之後，該怎麼修？

這篇講評估器的校正手段、校正時最難的判斷，以及模型怎麼選才不會花了錢、又拿到一堆不可信的分數。

校正評估器：先用低風險的手段，無效再升級

每種校正手段的成本跟風險都不一樣，方向是「先用低風險的，確認沒效再往上升級」：

實際情況不一定要照固定順序，但第一次建立評估器時，建議照這個順序走一遍。

什麼叫「Prompt 穩定了」？

建好評估器後，先跑 10～20 筆，人工逐一比對評估器的判斷。

「穩定」的定義是：

• 連續 50 筆複核，一致率達到 PM 訂定的標準（例如相關性平均 0.9）
• 而且近期沒有因為規格爭議修改過 Prompt

達到這個狀態之前，只調整 Prompt，不做其他事；

每改一版就重跑、跟上一版比較，並記下「改了什麼、為什麼改、效果如何」。

複核要看幾筆？

案例越多，越不可能每筆都看，可以分級抽查：

Few-shot Example 的使用原則

• Prompt 還沒穩定前，不要加：規格還在變，加進去的範例可能跟下一版規格衝突，評估器會越來越難預測
• 不是越多越好：每一筆都要有明確理由，想不出理由就不用加（LangSmith 目前上限是 20 筆）
• 每一筆都附上「為什麼給這個分數」：

{
  "inputs": {
    "question": "我的訂單 A123 什麼時候會到？",
    "tool_result": "訂單 A123：已出貨，物流狀態：配送中"
  },
  "outputs": {
    "answer": "您的訂單已出貨，目前配送中，一般約 1～2 天內會送達。"
  }
}

{
  "hallucination": 0.5,
  "few_shot_explanation": "查詢結果沒有送達日期，「一般約 1～2 天」屬於推測，但有用「一般」標示不確定性，沒有誤導使用者，給 0.5 而非 0。"
}

校正最難的：判斷該改「誰」

評估器校正裡最花時間的，不是改 Prompt 本身，而是搞清楚該改哪一個 Prompt：

遇到這種狀況，最快的方法是直接拉 PM / PO 一起看那筆案例：

「這筆 AI 的回答，你覺得應該給幾分？為什麼？」

• PM / PO 也說不清楚 → 是規格問題，先把規格講清楚
• PM / PO 有明確答案，但評估器給錯 → 是評估器問題，改評估器 Prompt

備註：這件事也可以請 AI 幫忙：把產品的 Prompt、評估器的 Prompt、測試結果一起丟給 AI，請它先分類「這筆是誰的問題」，甚至可以寫成一支 Skill 重複使用。但最後一定要人工審查。

評估器 AI 模型怎麼選？成本、準確度、速度的取捨

評估器要選模型，Agent 本身也要選模型。

直覺是「選最強的」，但實務上要同時看三件事：

換模型前，先做好這四件事

1. 了解新模型的特性：它擅長什麼、不擅長什麼
2. 建立 baseline：用現有的測試集跑舊模型，記錄分數分佈
3. 同條件比較：新模型用同一份 Prompt、同一份測試集跑一次
4. 看錯誤的方向：不只看分數高低，要看錯在哪裡、錯的方向能不能接受

分數下降、或出現新的誤判類型，就應該換回原本的模型，重新評估方向。

選模型的判斷順序

1. 先刪掉準確度不到門檻的模型，這些再便宜也不能用
2. 剩下的模型裡，比較成本跟回應時間
3. 最準的不一定能上線：回應太慢、造成逾時，對使用者來說一樣是失敗

選模型本身就是一道 QA 取捨題：品質、成本、可用性，三者要一起看。

總結

• 校正手段由低風險往上升級：改 Prompt → Few-shot → 重寫 → 換模型
• Prompt 穩定之前，只調 Prompt，不加 Few-shot
• 校正最難的是判斷該改誰：拉 PM / PO 一起看那筆案例
• 選模型要同時看成本、準確度、速度，換之前先建 baseline

回頭看：測試思維的轉變

AI Agent 測試這一段寫到這裡，面對的其實不只是「學一個新工具」，而是測試思維本質的轉變：

傳統 QA：
規格書 → 測試案例 → 執行 → PASS / FAIL → 上線
                              ↓
                       清晰明確，黑白分明

AI 時代：
品質指標 → 評估器設計 → 自動評估 → 分數評價 → 持續監控
                                  ↓
                     機率性、多面向、需要持續優化

QA 的本質還是「品質守護者」，只是守護的方式變了：

傳統的測試思維不會消失，而是跟 AI 測試思維共存、互補。不是取代，而是升級。

回頭看還會發現一件事：

工具會換、平台會換、模型也會一直換，但 「什麼叫好的回答」這個判斷，從頭到尾都是人定義的。

評估器只是把這個判斷寫成程式，讓它可以重複執行而已。

AI Agent 測試這一段，到這裡告一段落。

明天是最後一篇，終於要來收尾了～