沒有一家公司是把風險都處理完才開門做生意的,總有幾樣是知道它在、決定先承受。AI 也一樣,差別是這幾樣還沒有人列出來,也還沒有人簽名。
前面六天講了六種 AI 會出事的方式,直覺是一個一個處理掉再上線。今天先把這個直覺放下。
你的公司現在就在承受很多沒處理掉的風險:業務離職會帶走客戶名單、會計可能匯錯帳、倉庫可能失火。你沒有為每一件事設一道牆,而是決定保險買到哪裡、授權額度切在哪裡、哪些事要兩個人簽,做久了就不覺得在做決定。
AI 的風險也一樣。有些用治理處理得掉:設身分、切權限、留紀錄。剩下的,連做系統的公司都說擋不住,提示注入到今天就沒有可靠的防法,只能決定承受多少,而這題要你回答。
所以把六種風險攤開,各分兩類:不能承受的就不要碰,不放進去、不接上去、不給權限,決定哪些不做也是治理;可以承受的,寫下來,要有人畫押。
Shadow AI(Day 14)。不能承受的:員工在公司環境裝個人版助理,授給它等同自己的帳號權限;原始碼、客戶個資、未公開的財務數字貼進消費版;對話用「分享」變成公開連結。可以承受的:拿消費版改一封信、翻譯一段文件、整理公開資訊,這些盤不完,也不必盤完。
資料出去了(Day 15)。企業版合約替你關掉的只有訓練,留存跟落地要你自己設,人工審閱看你買哪種方案,法院要調你就得交。不能承受的:該完全不進 AI 供應商的資料,連企業版也放進去了。受監理的行業還多一條:金融、醫療、公部門的資料能不能出境、在哪裡儲存和處理,要看法規,不是你決定承受多少。可以承受的:非機敏資料談定留存與審閱條件之後,仍關不掉的部分,例如被安全機制標記的對話會有人看、法院可能調閱。
推測洗成事實(Day 16)。不能承受的:沒驗證過的推論直接進到對外文件、決策依據和正式知識庫;共用記憶誰都寫得進去;agent 說做完就當做完,沒有人回查。可以承受的:沒進對外文件或知識庫的內部草稿與探索性推測,以及沒開記憶的對話裡答錯一次。
注入(Day 17)。這是六種裡最明確解不掉的。不能承受的是一種組合:同一個 agent 同時讀得到不可信的內容、碰得到機密,又能把東西送出去或直接改資料、核准、刪除,這三個條件之間沒有隔離。可以承受的:這三個條件之間有機制卡住,就算注入成功,整條攻擊也走不完。
給錯權限(Day 18)。它會做一件收不回來的事,那是結果。成因就是不能承受的這三件事:功能超過任務;權限超過任務,只該讀的能改能刪、借用高權限或別人的帳號、往下委派時整包交出去;自主性超過任務,收不回來的動作沒有人簽字就做了。可以承受的:功能和權限限在任務範圍內、收不回來的動作有人簽字、可回滾有留痕,這時做錯一件事還收得回來。
每一層在誰手上(Day 19)。不能承受的:沒人說得出流程底下依賴誰,哪一層停了整條就停,也沒有退出方案;模型換版沒人重新驗收就照用;把停不得的流程交給隨時可以改條款或退出的供應商;agent 自己裝的套件沒人看過就上線。可以承受的:模型商換版、價格調整;演練過退出的供應商依賴;能重建的自建元件。
多數公司的 AI 治理停在有沒有政策、有沒有人管。今年一份美國雇主調查裡,68% 有正式的 AI 使用政策,指定了監督委員會的只有 45%。沒有一份調查在問哪些風險是公司決定承受的,也很少進決策者的 checklist。沒有這一項,風險不會少,只是有人在替公司承受而不自知。
列上去之後,還要驗證承受得住。最直接的是拔掉試一次:這個 AI 或它背後的供應商明天停了,公司多久能接手?撐不住的就不屬於可以承受那一欄,要搬回去:處理掉,或者不碰。
買得到產品、改得了設定的風險,交給 IT 就好。剩下的沒有產品可買,只能決定承受多少。這個決定列不列在 checklist 上,事情發生的機率都一樣,差別在出事那天,有沒有人能說「這是我們決定承受的」。所以無解的那一塊,反而最不能授權下去。
一句話帶走:治理不只是把風險解決掉,決定接受哪些風險,也是治理的一部分。
決定承受之後,下一個問題就是護欄放哪,最基本的那一個是:你的 AI 員工,有沒有工號?