最近有部分 Claude 使用者收到了一封來自 Anthropic 的通知郵件。
內容看起來只是一次普通的隱私政策更新。
其中新增了:
而相關內容目前也已經出現在 Anthropic 的隱私政策頁面中:
乍看之下,這似乎只是法規合規或隱私保護需求。
但當我看到這封郵件時,想到的卻不是隱私,而是責任。
因為這代表一件事:
AI 正在從聊天工具,逐漸變成能夠執行任務的代理系統(Agent)。
如果 Claude、ChatGPT 或 Gemini 只是回答問題的工具,
那麼身份驗證其實沒有那麼重要。
但當 AI 開始能夠:
事情就不同了。
企業真正關心的問題從來不是:
AI 能不能做?
而是:
AI 做錯了怎麼辦?
如果 AI 只是一般工具,
那麼限制帳號、限制 API、限制硬體資源,其實就已經足夠。
但當 AI 開始具有行動能力(Agency)後,
問題就從模型能力轉變成責任歸屬。
因為未來的 Agent 不只是回答問題。
它可能會:
此時企業與監管機構一定會問:
身份驗證本身並不是目的。
它更像是責任鏈(Responsibility Chain)的起點。
假設企業導入了一套採購 Agent。
前 100 次執行都正常:
一切順利。
於是大家開始信任它。
甚至不再檢查。
然後第 101 次:
原本要採購 100 雙鞋,
Agent 卻下單成了 10,000 雙。
造成數百萬成本損失。
此時問題來了:
誰負責?
從法律角度來說,
多數平台最後都會傾向於寫成:
使用者授權 Agent 執行任務,因此相關後果由使用者承擔。
從法務角度看似合理。
但企業真正想知道的問題其實不是這個。
企業更在意的是:
為什麼會出錯?
因為前 100 次明明都正常。
如果系統每天都在穩定運作,
使用者自然會逐漸建立信任。
而信任一旦建立,
監督行為就會下降。
這是所有自動化系統都曾經發生過的現象。
Anthropic 這次新增身份驗證條款,
其實透露出一個重要訊號。
AI 公司開始意識到:
當 Agent 擁有行動能力之後,
就必須建立責任鏈。
因此需要知道:
這也是為什麼身份驗證開始變得重要。
但值得注意的是,
目前建立的是:
Human Accountability
(人的責任)
而不是:
AI Accountability
(AI 狀態責任)
即使知道是誰授權,
仍然有一個問題無法回答:
為什麼第 101 次會失敗?
企業其實不會滿足於:
使用者授權了,所以責任歸使用者。
因為真正需要回答的是:
如果連系統本身都無法解釋:
為什麼這次和前 100 次不一樣?
那麼最後所有責任都可能被推回使用者身上。
未來 Agent 的競爭,
可能不只是模型能力。
而是:
因為企業真正需要的,
不是一個永遠不犯錯的 Agent。
而是一個即使犯錯,
也能知道為什麼犯錯的 Agent。
Anthropic 的這封郵件,
表面上是在更新隱私政策。
但從另一個角度看,
它或許也透露出一個訊號:
AI 產業正在建立人類的責任鏈。
然而,
當 Agent 逐漸成為企業流程中的執行者時,
我們仍然缺少一個答案:
當第 101 次決策出錯時,我們真的知道發生了什麼事嗎?
這或許才是 AI Agent 時代真正值得思考的問題。
制定人機協作SOP 才是王道。
認同,人機協作 SOP 確實是必要條件。
不過我覺得 Agent 時代有個新挑戰:
SOP 可以定義「誰該確認」,但不一定能保證「確認的人真的有能力判斷」。
尤其當 Agent 長期表現穩定時,人類很容易從「審核者」慢慢變成「簽核者」。
或許未來除了 SOP 之外,還需要思考如何維持 Human-in-the-Loop,而不是逐漸變成 Human-on-the-Loop。
其實 確認人有足夠能力, 也是可能出現 疏忽誤判 的狀況.
這是無可避免之事.
所以SOP不是單純"審核"考量, 還需要考慮其他可能狀況.
認同,所以我覺得 Agent 時代最大的挑戰可能不是 SOP 本身,而是如何避免 SOP 隨著 AI 長期高成功率而逐漸形式化。
很多高風險產業最後出問題,不是因為沒有 SOP,而是因為大家都太習慣 SOP 一直有效。
Agent 如果長期維持 99% 正確率,人類是否還能保持 1% 的警覺心,可能才是最難的部分。
這就是系統最難的部分.
95%功能 花5%時間開發
5%例外狀況, 花95%時間處理.
認同,而且我覺得 Agent 時代還有一個額外挑戰。
傳統系統的例外狀況,通常還能透過 Log、流程或程式碼回溯原因;但 AI LLM 的子目標推演過程,目前很多時候是不可觀測的。
我們能看到它做了什麼,卻不一定知道它為什麼會認為那樣做是合理的。
所以未來最麻煩的可能不只是處理那 5% 的例外,而是當那 5% 發生時,是否有能力追溯它是在哪一個決策節點開始偏離。