AI 出錯的時候，常常不像一般的系統故障：沒有報錯、沒有告警，整條流程甚至照常跑完。等有人發現了，第一個問題可能是：這到底該誰管？
先看一個已經上過法庭的例子。
2022 年，加拿大航空官網上的客服聊天機器人告訴一位旅客，喪親優惠票可以先用原價買，事後再申請退差價。它那句回答裡的「喪親優惠票」幾個字，本身就是一個超連結，連到的那一頁寫的是相反的規定。旅客照聊天機器人說的做，事後申請被拒，告上了卑詩省的民事審裁庭（Civil Resolution Tribunal）。航空公司在答辯時主張，它不必為聊天機器人提供的資訊負責。審裁庭說，這等於把聊天機器人當成一個要為自己行為負責的獨立法律實體。2024 年 2 月，審裁庭沒有接受這個說法：聊天機器人仍然是航空公司網站的一部分，旅客沒有理由知道同一個網站上哪一段才是對的，航空公司要賠。
這件事裡，聊天機器人沒有當機，也沒有被攻擊。旅客來回爭取了將近三個月、把截圖寄回去，航空公司才承認聊天機器人說錯了。OWASP 去年出的《GenAI 事故應變指南》（GenAI Incident Response Guide），第一個事故範例就是這一件，定性寫得很清楚：這不是傳統的網路攻擊，是系統幻覺出一條不存在的公司政策，風險落在聲譽和法規上。
算，只是「怎麼算」，現在還沒有標準答案。同一份指南寫，在它寫成的時候（2025 年），AI 事故還沒有公認的定義。它整理了幾種說法：經濟合作暨發展組織（OECD）的版本是 AI 的開發、使用或失常，直接或間接造成了傷害；AI 事故資料庫（AI Incident Database）連差點造成傷害的也算進去。資安事故有現成的判準，資料有沒有外洩、系統有沒有被入侵；AI 出事可能根本沒有攻擊者，只是它自己生成了一個錯的答案。
連定義都沒有，該歸誰管也就不一定。OWASP 今年另一份報告《代理式 AI 資安與治理現況》（State of Agentic AI Security and Governance）把出事分成兩種：一種是被攻擊，有人越過了本來不該越過的邊界；另一種不需要攻擊者，系統在正常運作下自己造成傷害，報告舉的例子就是 Day 18 那個在說了「不要動」之後還清空正式資料庫的 coding agent。報告接著寫，agent 的權限越大、監督越少，這兩種就越分不開。它的另一個例子接近 Day 16：agent 的記憶幾週前被人動過手腳，現在開始給出有點偏的答案。當下在看的人，會覺得它跟一般的故障一模一樣；當成故障處理，重啟、檢查，可能完全漏掉被寫進去的那一段，之後再繼續出錯、或被竄改。
報告觀察，多數企業裡，AI 安全（系統自己造成傷害的那一類）歸產品或工程團隊，AI 資安歸資安長，AI 導入又在另一個轉型或創新單位，每個單位都有自己對「什麼算事故」的定義。agent 能動手的範圍越大，一件事發生了，就越容易先吵它屬於哪一類。報告的說法是，把事故硬分進其中一類，會造成組織上的延遲，而事故在這段時間裡沒有人圍堵。
NIST 的 AI 風險管理框架（AI RMF）也沒有只算攻擊。它把事故和錯誤讓相關的人知道、追蹤應變復原照流程走並留下紀錄，列為一項成果（MANAGE 4.3）。錯誤也在範圍裡，至於哪些錯誤要升級成事故，框架沒有替你劃。
框架一開始就承認，不是所有事故和失敗都能消除（NIST AI RMF §1.2.3）。所以要準備的，是出事那天不必先開一個會，決定這件事該誰管。
先從哪些錯算事故開始。既然沒有公認定義，這條線得你自己畫。OWASP 那份應變指南列了宣告事故之前要先看的幾件事：這個 AI 系統對公司有多重要、功能受影響到什麼程度（答錯、幻覺都算）、是被攻擊還是自己失常、可能造成什麼傷害、牽不牽涉客戶與法規。客服 AI 答錯一個營業時間，跟答錯一條退款規定，放進這幾項一看，結果就很不一樣。
接著是誰接手。指南建議在出事前把相關的人都畫出來，可以用一張權責表（RACI）對應誰負責、誰拍板、誰要被諮詢、誰要被告知，每一個上線的關鍵 AI 系統都要指定一個負責人。名單上不只有 IT 和資安，還有法務、公關、事業單位主管和經營層；外部則有模型商、雲端供應商、主管機關和客戶。Day 25 談的那些合約，到這裡會變成一份聯絡名單。另一份報告也提醒，被攻擊還是自己出錯，拿來理解系統為什麼出錯很有用，拿來決定誰回應就會適得其反。
還有誰能喊停、要讓誰知道。指南寫得很實際：哪一類事故要通知到哪一層，要事先定，很多事故並不需要馬上通知經營層。嚴重度決定範圍，最嚴重的要通知經營層、董事會、法務、主管機關，甚至公眾，也可能直接把系統下線；輕的就在內部處理。OWASP 的《代理式應用十大風險》（OWASP Top 10 for Agentic Applications 2026）把 agent 偏離授權範圍、每個動作看起來都合理、合起來卻造成傷害的情況，列為失控代理（Rogue Agents）；它的應變建議是要有能立刻停用的機制，像緊急停止開關、撤銷憑證，再把可疑的 agent 隔離起來調查。Day 21 問過的「權限能不能一次收回」，就是在這一刻用上。
對外說明的那個人，也要事先定。指南的建議是指定一位發言人，用同一個聲音說話，避免前後矛盾；對外聲明要先經過法務、公關和經營層。回頭看加拿大航空，它主張不必為聊天機器人說的話負責，審裁庭沒有接受。那位旅客面對的，從頭到尾都是航空公司。
最後是出事之後。NIST 的實作指引建議維護一份紀錄，把回報上來的錯誤、險些出事（near-miss）和事故都記下來：什麼時候回報、影響多大、多嚴重、怎麼處理，並且定期跟使用者和受影響的人分享；也建議先訂好公開揭露事故的政策。那個答錯營業時間的客服 AI，也許還算不上事故，但它應該進這份紀錄。
一句話帶走：什麼算事故、誰接手、誰對外說，出事前沒定好，出事那天就還得先開一個會。
治理這一段到這裡告一段落。這七天講的，都是你能設的控制點；接下來換一個問題：當 AI 不只是公司裡的一套工具或服務時，組織應該要變成什麼樣子。
iThome鐵人賽
看影片追技術