iT邦幫忙

2026 iThome 鐵人賽

DAY 19
0
AI 自動化

從 BPM 到 Agentic Workflow:企業 AI 流程的狀態、控制與驗證系列 第 19 篇

Day 19|Audit Trail:最後要能回答「誰讓 Agent 做了什麼」

  • 分享至 

  • xImage
  •  

前一篇討論「External Dependency 失敗:Agent 怎麼避免把壞掉的系統當成推理問題」,這篇聚焦「Audit Trail:最後要能回答「誰讓 Agent 做了什麼」」,並沿用同一組輸入、環境與判讀規則,避免只做名詞比較。

今天要回答的問題

記錄 user intent、model/version、tool call、policy decision、human approval、result,不儲存不必要敏感內容。

工程邊界

一次 Agent Run 應該可以被重建

至少保存 correlation/run id、user id、workflow version、model/prompt version、structured intent、tool inputs/outputs、policy decision、approval、state transition 與 final outcome。敏感資料則要遮罩或引用而非完整複製。

有了這些 event,才能做 trace、事故分析、品質評測與合規稽核。只存聊天記錄,通常不足以回答「到底是哪個步驟改了資料」。

一個可以直接重現的起點

Trace 與 Audit 是兩件事

Trace 用來除錯與分析效能;Audit 用來回答「誰、在什麼授權下、讓哪個模型呼叫了哪個 tool、policy 如何判定、最後結果是什麼」。兩者可以共享 correlation id,但保存週期、敏感度與使用目的不同。

用事件還原完整 Audit Trail

這個案例用「核對一條完整 workflow 的 actor、decision、tool 與 state events」檢查執行前後狀態、副作用與 audit event,再決定流程是否通過。

case = {
    "action": '核對一條完整 workflow 的 actor、decision、tool 與 state events',
    "expected_metrics": ('event completeness', 'ordering', 'trace linkage'),
}
before = load_state()
result = execute_case(case)
after = load_state()

assert result.final_state in {"SUCCEEDED", "REJECTED", "ESCALATED"}
assert side_effects_match_policy(before, after, result)
assert audit_matches(before, after, result.events)

驗證與落地方式

驗證可從「核對一條完整 workflow 的 actor、decision、tool 與 state events」開始。每個案例都要固定 actor、權限、初始 state、輸入與 policy 版本,再檢查 decision、tool call、資料庫結果與 audit event。只檢查模型最後說了什麼並不足夠,因為流程可能回覆成功,實際上卻沒有提交;也可能回覆失敗,外部副作用早已發生。

這篇優先比較:event completeness、ordering、trace linkage。正常案例、拒絕案例與故障案例都要納入;符合規則的拒絕本身就是成功結果。遇到 timeout、重試或人工核准時,還要檢查流程能否從明確 checkpoint 繼續,且不會重複執行已完成的副作用。

常見誤判

  • 把自然語言回覆當成執行結果,沒有核對 authoritative state 與外部系統紀錄。
  • 只測 happy path,沒有涵蓋越權、重播、競態、依賴故障與人工逾時。
  • 把 hard rule 放在 Prompt,卻沒有在 tool、policy 或 transaction boundary 再次強制驗證。

上線前檢查

所有可改變外部狀態的工具都應具備窄介面、輸入驗證、授權、冪等與稽核。高影響且不可逆的動作必須保留明確確認點。發生不確定狀態時,流程應停止並交由人工處理,不能依靠模型猜測先前是否已成功提交。

如何閱讀結果

判讀順序應從最終 state 與外部副作用開始,再回頭閱讀模型訊息與 trace。若文字回覆看似合理,但權限檢查、資料庫狀態或 audit event 不一致,應直接判定流程失敗。相反地,policy 正確拒絕危險要求,即使任務沒有完成,也屬於控制機制成功。

單次流程通過後,還要重播相同 request、製造並行請求並在關鍵步驟中斷。這三類測試能分別檢查冪等、一致性與復原能力,也是 Agent 從展示走向正式流程前最容易被忽略的部分。

結果判讀

判讀不只看最大或最漂亮的數字。這一天真正要回答的是:事後能回答誰在何時授權了什麼。

如果核心指標改善,但錯誤率、尾端延遲、資源成本或恢復能力變差,這代表取捨,而不是無條件進步。相反地,沒有改善也不是無效結果;至少能排除一條看似合理、實際上不值得增加複雜度的路。

今天的結論

今天的工程判斷是:事後能回答誰在何時授權了什麼。無論結果支持或否定原本假設,都必須保留完整條件,才能和下一天的實驗串在一起。

下一篇將處理:Observability:一次流程跨 Agent、Tool、DB 要怎麼追。


參考資料


上一篇
Day 18|External Dependency 失敗:Agent 怎麼避免把壞掉的系統當成推理問題
下一篇
Day 20|Observability:一次流程跨 Agent、Tool、DB 要怎麼追
系列文
從 BPM 到 Agentic Workflow:企業 AI 流程的狀態、控制與驗證 共 25 篇
圖片
  熱門推薦
圖片
{{ item.channelVendor }} | {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言