iT邦幫忙

0

AI Agent 時代的下一個問題:當第 101 次決策出錯時,誰來負責?

  • 分享至 

  • xImage
  •  

最近有部分 Claude 使用者收到了一封來自 Anthropic 的通知郵件。

內容看起來只是一次普通的隱私政策更新。

其中新增了:

  • Identity Verification(身份驗證)
  • Age Verification(年齡驗證)
  • Connected Apps(第三方應用整合)
  • Multi-step Tasks(多步驟任務)

而相關內容目前也已經出現在 Anthropic 的隱私政策頁面中:

Anthropic Privacy Policy

乍看之下,這似乎只是法規合規或隱私保護需求。

但當我看到這封郵件時,想到的卻不是隱私,而是責任。

因為這代表一件事:

AI 正在從聊天工具,逐漸變成能夠執行任務的代理系統(Agent)。


當 AI 開始替你做事

如果 Claude、ChatGPT 或 Gemini 只是回答問題的工具,

那麼身份驗證其實沒有那麼重要。

但當 AI 開始能夠:

  • 幫你寄信
  • 幫你管理行程
  • 幫你修改文件
  • 幫你執行工作流程

事情就不同了。

企業真正關心的問題從來不是:

AI 能不能做?

而是:

AI 做錯了怎麼辦?


為什麼 AI 公司開始需要知道你是誰?

如果 AI 只是一般工具,

那麼限制帳號、限制 API、限制硬體資源,其實就已經足夠。

但當 AI 開始具有行動能力(Agency)後,

問題就從模型能力轉變成責任歸屬。

因為未來的 Agent 不只是回答問題。

它可能會:

  • 發送電子郵件
  • 建立採購單
  • 修改資料庫內容
  • 操作第三方 SaaS 系統
  • 執行跨系統工作流程

此時企業與監管機構一定會問:

  • 誰授權了這個行為?
  • 誰允許 Agent 執行?
  • 出事時應該找誰負責?

身份驗證本身並不是目的。

它更像是責任鏈(Responsibility Chain)的起點。


第一次錯誤並不可怕

假設企業導入了一套採購 Agent。

前 100 次執行都正常:

  • 建立採購單
  • 發送通知
  • 更新 ERP
  • 建立庫存紀錄

一切順利。

於是大家開始信任它。

甚至不再檢查。

然後第 101 次:

原本要採購 100 雙鞋,

Agent 卻下單成了 10,000 雙。

造成數百萬成本損失。

此時問題來了:

誰負責?


條款可以定義責任,但無法解釋錯誤

從法律角度來說,

多數平台最後都會傾向於寫成:

使用者授權 Agent 執行任務,因此相關後果由使用者承擔。

從法務角度看似合理。

但企業真正想知道的問題其實不是這個。

企業更在意的是:

為什麼會出錯?

因為前 100 次明明都正常。

如果系統每天都在穩定運作,

使用者自然會逐漸建立信任。

而信任一旦建立,

監督行為就會下降。

這是所有自動化系統都曾經發生過的現象。


責任鏈正在形成

Anthropic 這次新增身份驗證條款,

其實透露出一個重要訊號。

AI 公司開始意識到:

當 Agent 擁有行動能力之後,

就必須建立責任鏈。

因此需要知道:

  • 誰授權?
  • 誰使用?
  • 誰發出指令?

這也是為什麼身份驗證開始變得重要。

但值得注意的是,

目前建立的是:

Human Accountability
(人的責任)

而不是:

AI Accountability
(AI 狀態責任)

真正困難的問題

即使知道是誰授權,

仍然有一個問題無法回答:

為什麼第 101 次會失敗?

企業其實不會滿足於:

使用者授權了,所以責任歸使用者。

因為真正需要回答的是:

  • Agent 做出了什麼判斷?
  • 為什麼這次與之前不同?
  • 決策過程是否能追蹤?
  • 是否存在長期漂移?
  • 系統狀態是否已經發生改變?

如果連系統本身都無法解釋:

為什麼這次和前 100 次不一樣?

那麼最後所有責任都可能被推回使用者身上。


下一階段的競爭

未來 Agent 的競爭,

可能不只是模型能力。

而是:

  • 可追溯性(Traceability)
  • 可解釋性(Explainability)
  • 可稽核性(Auditability)
  • 長期穩定性(Long-Term Stability)

因為企業真正需要的,

不是一個永遠不犯錯的 Agent。

而是一個即使犯錯,

也能知道為什麼犯錯的 Agent。

Anthropic 的這封郵件,

表面上是在更新隱私政策。

但從另一個角度看,

它或許也透露出一個訊號:

AI 產業正在建立人類的責任鏈。

然而,

當 Agent 逐漸成為企業流程中的執行者時,

我們仍然缺少一個答案:

當第 101 次決策出錯時,我們真的知道發生了什麼事嗎?

這或許才是 AI Agent 時代真正值得思考的問題。


圖片
  熱門推薦
圖片
{{ item.channelVendor }} | {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

1 則留言

0
doesjudas
iT邦新手 2 級 ‧ 2026-06-17 10:12:13

制定人機協作SOP 才是王道。

看更多先前的回應...收起先前的回應...
p206s16cc iT邦新手 5 級 ‧ 2026-06-17 10:22:46 檢舉

認同,人機協作 SOP 確實是必要條件。

不過我覺得 Agent 時代有個新挑戰:

SOP 可以定義「誰該確認」,但不一定能保證「確認的人真的有能力判斷」。

尤其當 Agent 長期表現穩定時,人類很容易從「審核者」慢慢變成「簽核者」。

或許未來除了 SOP 之外,還需要思考如何維持 Human-in-the-Loop,而不是逐漸變成 Human-on-the-Loop。

doesjudas iT邦新手 2 級 ‧ 2026-06-17 13:47:21 檢舉

其實 確認人有足夠能力, 也是可能出現 疏忽誤判 的狀況.
這是無可避免之事.
所以SOP不是單純"審核"考量, 還需要考慮其他可能狀況.

p206s16cc iT邦新手 5 級 ‧ 2026-06-17 13:59:00 檢舉

認同,所以我覺得 Agent 時代最大的挑戰可能不是 SOP 本身,而是如何避免 SOP 隨著 AI 長期高成功率而逐漸形式化。

很多高風險產業最後出問題,不是因為沒有 SOP,而是因為大家都太習慣 SOP 一直有效。

Agent 如果長期維持 99% 正確率,人類是否還能保持 1% 的警覺心,可能才是最難的部分。

doesjudas iT邦新手 2 級 ‧ 2026-06-17 14:06:02 檢舉

這就是系統最難的部分.
95%功能 花5%時間開發
5%例外狀況, 花95%時間處理.

p206s16cc iT邦新手 5 級 ‧ 2026-06-17 14:09:36 檢舉

認同,而且我覺得 Agent 時代還有一個額外挑戰。

傳統系統的例外狀況,通常還能透過 Log、流程或程式碼回溯原因;但 AI LLM 的子目標推演過程,目前很多時候是不可觀測的。

我們能看到它做了什麼,卻不一定知道它為什麼會認為那樣做是合理的。

所以未來最麻煩的可能不只是處理那 5% 的例外,而是當那 5% 發生時,是否有能力追溯它是在哪一個決策節點開始偏離。

我要留言

立即登入留言