Day 14｜Excessive Agency 有哪些風險？

上一篇提到，Excessive Agency 的核心問題，是 AI 被賦予了太多不必要的能力。

那麼，這些「太多」到底可能造成什麼風險？

1. 功能太多

假設一個 AI 只需要幫忙讀取文件，結果連修改、刪除文件的功能都有。

這代表 AI 可以做的事情，已經超過實際需求。

2. 權限太大

即使 AI 只需要讀取資料，但如果背後使用的是具有「新增、修改、刪除」權限的帳號，一旦 AI 判斷錯誤，就可能造成不必要的資料變更。

因此，功能限制了，不代表權限就一定安全。

3. 自主性太高

有些操作一旦執行，就可能造成較大的影響，例如：

刪除資料
發送 Email
修改重要設定
執行交易

如果 AI 可以直接決定並執行這些操作，完全不需要人工確認，那麼風險就會進一步提高。

4. AI 被操控後，影響會被放大

例如 AI 原本只是受到 Prompt Injection 影響，回答了一段錯誤內容。

如果它同時擁有資料庫、Email 或其他系統的操作權限，那麼問題就可能從「AI 回答錯誤」變成「AI 真的做錯事情」。

所以 Excessive Agency 最值得注意的地方就是：

AI 犯錯本身不可怕，可怕的是它犯錯之後，有能力造成多大的影響。

因此，設計 AI Agent 時，不只是要問「AI 能不能做到這件事」，還要問：

「這件事真的需要讓 AI 自己做到嗎？」

這也是降低 Excessive Agency 風險的重要思維。