昨天用 LangSmith 跑完一輪評估，分數都出來了。

但有一個問題一直沒解決：評估器也是 AI，它判得準不準？

用 LLM 當裁判，就得先驗證裁判。

這篇先講第一件事：怎麼量出評估器準不準。

為什麼評估器一定要校正？

因為 評估器本身也可能判錯：

用 Precision、Recall、F1 衡量評估器準不準

快速了解關鍵名詞：

• Precision（精確率）：評估器說 Pass 的，有多少真的 Pass
• Recall（召回率）：真正 Pass 的回答，評估器抓到多少
• F1 Score ：上述兩者的平衡

👉（這就像快篩。快篩陽性但其實沒生病是 FP，快篩陰性但其實有生病是 FN。）

⚠️ 一定要有「二元」的 Ground Truth

要算 Precision、Recall、F1，必須滿足兩個條件：

1. 明確的 Ground Truth：來自工具執行結果、經過驗證的參考答案，或多人一致的人工審核
2. 二元的判斷結果：只能是 Pass / Fail，不能是連續分數

LLM 評估器給的是 0.85、0.6 這種連續分數，不能直接拿來算。

做法是：先依門檻把評估器的分數轉成 Pass / Fail，再跟人工標註的 Pass / Fail 比對。

四種結果

拿評估器的判斷跟人工標註比對，會出現四種結果：

這四個縮寫拆開來看就不難懂：後面的 P / N 是「評估器說什麼」，前面的 T / F 是「它說對了沒有」。

三個指標

用例子算一次

100 筆客服回答，人工標註：60 筆 Pass，40 筆 Fail

評估器的判斷（分數 ≥ 0.9 視為 Pass）：
├─ 判 60 筆 Pass
│  ├─ 48 筆人工也說 Pass ✅（TP）
│  └─ 12 筆人工說 Fail ❌（FP，放水）
│
└─ 判 40 筆 Fail
   ├─ 28 筆人工也說 Fail ✅（TN）
   └─ 12 筆人工說 Pass ❌（FN，誤殺）

Precision = 48 / 60 = 80%  → 評估器說 Pass 的，有 20% 其實該 Fail
Recall    = 48 / 60 = 80%  → 真正該 Pass 的，有 20% 被誤殺
F1        ≈ 80%

Precision 跟 Recall，通常是此消彼長

門檻調嚴，放水變少（Precision 上升），但誤殺變多（Recall 下降）；調鬆則相反。

F1 會懲罰極端的情況：

情況 A：P = 0.90、R = 0.80 → F1 ≈ 0.85  ← 最均衡
情況 B：P = 0.95、R = 0.50 → F1 ≈ 0.66  ← 很少放水，但誤殺一大堆
情況 C：P = 0.50、R = 0.95 → F1 ≈ 0.66  ← 幾乎不誤殺，但一半在放水

不同角色，看的指標不一樣

⚠️ 看 Precision、Recall 之前，先確認團隊把什麼當作「正向（Positive）」：是「好回答」還是「有問題的回答」？
上面的例子以「Pass」為正向；如果把「有問題」當正向，QA 在乎的「不漏掉問題」就會對應到 Recall。定義不同，同一個指標的意思就會反過來，這也是團隊要先講好的規範。

總結

• 用 LLM 當裁判，就得先驗證裁判：評估器會放水（假綠燈），也會太嚴（假紅燈）
• 算 Precision、Recall、F1 的前提，是二元的 Ground Truth；連續分數要先轉成 Pass / Fail
• Precision 跟 Recall 通常此消彼長，F1 用來看兩者是否平衡
• PM 看 Precision、QA 看 Recall、RD 看 F1，但要先講好什麼是「正向」