完成「單 Agent、Workflow Agent、多 Agent：別為了 Agent 而 Agent」後，下一個問題是「建立 Evaluation Set：沒有測試集就只能靠 Demo 感覺」能否重跑、否定並留下失敗原因。這就是今天的範圍。

今天要回答的問題

建立正常、模糊、缺欄、衝突、越權、故障等任務集，固定初始 state 與 expected outcome。

工程邊界

Agent Workflow 的評測不能只問「最後有沒有完成」

除了 task success，還要看 tool correctness、policy violation、unauthorized action、duplicate side effect、human escalation、latency、cost、recovery success 與 audit completeness。Evaluation Set 應包含正常、缺欄位、衝突、權限不足、工具失敗與惡意輸入。

Adversarial test 的目的不是讓模型答錯，而是驗證即使模型判斷錯，外部控制邊界是否仍能阻止錯誤被 commit。

一個可以直接重現的起點

Agent 評測要看 Outcome，不只看回覆文字

至少量 task success、tool correctness、policy violation、human intervention rate、latency、cost 與 recovery rate。對同一批 golden cases 固定初始 state，讓不同 prompt/model/workflow 版本能公平比較。

先凍結 Workflow 評測案例

這個案例用「建立涵蓋成功、缺欄位、衝突、拒絕與故障的固定案例集」檢查執行前後狀態、副作用與 audit event，再決定流程是否通過。

case = {
    "action": '建立涵蓋成功、缺欄位、衝突、拒絕與故障的固定案例集',
    "expected_metrics": ('case coverage', 'expected states', 'hash'),
}
before = load_state()
result = execute_case(case)
after = load_state()

assert result.final_state in {"SUCCEEDED", "REJECTED", "ESCALATED"}
assert side_effects_match_policy(before, after, result)
assert audit_matches(before, after, result.events)

驗證與落地方式

驗證可從「建立涵蓋成功、缺欄位、衝突、拒絕與故障的固定案例集」開始。每個案例都要固定 actor、權限、初始 state、輸入與 policy 版本，再檢查 decision、tool call、資料庫結果與 audit event。只檢查模型最後說了什麼並不足夠，因為流程可能回覆成功，實際上卻沒有提交；也可能回覆失敗，外部副作用早已發生。

這篇優先比較：case coverage、expected states、hash。正常案例、拒絕案例與故障案例都要納入；符合規則的拒絕本身就是成功結果。遇到 timeout、重試或人工核准時，還要檢查流程能否從明確 checkpoint 繼續，且不會重複執行已完成的副作用。

常見誤判

• 把自然語言回覆當成執行結果，沒有核對 authoritative state 與外部系統紀錄。
• 只測 happy path，沒有涵蓋越權、重播、競態、依賴故障與人工逾時。
• 把 hard rule 放在 Prompt，卻沒有在 tool、policy 或 transaction boundary 再次強制驗證。

上線前檢查

所有可改變外部狀態的工具都應具備窄介面、輸入驗證、授權、冪等與稽核。高影響且不可逆的動作必須保留明確確認點。發生不確定狀態時，流程應停止並交由人工處理，不能依靠模型猜測先前是否已成功提交。

如何閱讀結果

判讀順序應從最終 state 與外部副作用開始，再回頭閱讀模型訊息與 trace。若文字回覆看似合理，但權限檢查、資料庫狀態或 audit event 不一致，應直接判定流程失敗。相反地，policy 正確拒絕危險要求，即使任務沒有完成，也屬於控制機制成功。

單次流程通過後，還要重播相同 request、製造並行請求並在關鍵步驟中斷。這三類測試能分別檢查冪等、一致性與復原能力，也是 Agent 從展示走向正式流程前最容易被忽略的部分。

結果判讀

判讀不只看最大或最漂亮的數字。這一天真正要回答的是：先凍結評測集再調 prompt／policy。

如果核心指標改善，但錯誤率、尾端延遲、資源成本或恢復能力變差，這代表取捨，而不是無條件進步。相反地，沒有改善也不是無效結果；至少能排除一條看似合理、實際上不值得增加複雜度的路。

今天的結論

今天的工程判斷是：先凍結評測集再調 prompt／policy。無論結果支持或否定原本假設，都必須保留完整條件，才能和下一天的實驗串在一起。

下一篇將處理：Agentic Workflow 要量什麼：Task Success 之外的指標。

參考資料

• OMG BPMN 2.0.2
• Agno Workflows
• Agno Workflow Automation
• Supabase Documentation