你給了它工號,它做的每一件事都留得下名字。但如果問「這個決定是怎麼來的」,名字答不了這一題。
名字回答的是「誰」。要知道出了什麼事、又是為什麼,還需要另外兩步:留下過程,和有人在看。
紀錄只留下動作,出了問題就查不出過程。客戶說你們的 AI 給錯了報價,你回頭查,查得到它幾點幾分送出一份報價,查不到它當時讀了哪幾份文件、套的是哪一版價格表、中間有沒有人改過。動作有紀錄,過程沒有。稽核軌跡(audit trail)本來要還原的,正是這段過程,出事之後拿來追查。
另一種情況更安靜:出了問題,卻沒有人發現。它讀到一封被動過手腳的信,多做了一件沒有人交代的事;或者權限開得比任務大,順手改了不該改的資料。這一類通常等不到客訴,因為沒有人察覺。要接住它,得在事情進行的時候就看得到它在做什麼、呼叫了哪些工具,這是可觀測性(observability)。兩者可以用同一份紀錄:事後拿來查,當下拿來盯,差別在有沒有人或機制在用。
監看也不能只做在上線之前。NIST 的 AI 風險管理框架(AI RMF)在量測(MEASURE)那一組裡寫得很直接:系統的功能與行為,要在正式環境裡被監看,不是驗收時跑過一輪就算。
OWASP 那份《代理式應用十大風險》在開場信裡把可觀測性寫成不可讓渡(non-negotiable):看不清楚 agent 在做什麼、為什麼做、呼叫了哪些工具,多給出去的自主權可能安靜地擴大攻擊面,把小問題變成整個系統的失效。
如果紀錄上只有最後那個核准動作,而動手的是人,事情就只會記在人的名下。OWASP 那份清單舉過一個例子:一張被竄改過的供應商發票進了財務用的 AI 助理,助理建議把款項緊急付到攻擊者給的帳戶,財務主管核准了。當下沒看出來的是主管;事後查的時候,紀錄上只有主管在幾點核准了一筆付款,每個欄位都正確。助理給過什麼建議、根據的是哪張發票,如果沒有一起留下來,它在這件事裡的角色就查不到。Day 16 提過:簽字的是人,稽核軌跡上完全合規,AI 在裡面的角色是隱形的。框架的補法是把這一層也留下來:使用者問了什麼、agent 做了什麼,都要有不能竄改的紀錄;它給的每個建議,也要附上來源。
還有一種資料跟前面講的紀錄都不一樣:公司的記憶。對話摘要、存進資料庫的文件片段、知識庫,agent 寫進去,之後它或別的 agent 會讀回來照著做。紀錄記的是它做過什麼;記憶是它以後照著做的依據,光留下來不夠,錯了還要撤得掉。Day 12 講機構記憶的時候留了一個問題沒有答:它一旦變成可以查詢的資產,誰有權限寫進去、誰來驗證核實。
這兩個「誰」框架要求寫清楚,但不會替你決定是誰;它給的是怎麼管。OWASP 那份清單在記憶這一項給的做法,可以分成兩組。一組是留痕:每一筆要標得出它從哪裡來,異常的更新要看得出來,版本要控管。另一組是防錯和改錯:寫進去之前先檢查,只收經過驗證、經過挑選的來源,不讓 agent 自己產出的內容自動回到可信記憶裡,那會自我增強成污染;要能快照、回滾,把可疑的先隔離;沒有被驗證過的記憶,要會過期。
標記也不能只貼在原始檔案上。OWASP 另一份《生成式 AI 資料安全風險與對策》(GenAI Data Security Risks and Mitigations)講得更細:資料原本怎麼分級,AI 讀進來的內容和它的執行紀錄就照同一套分級,而且標籤要跟著索引、快取、備份這些衍生出來的副本走。原始資料刪了,agent 拿來撈的索引和快取要跟著撤掉,不然它還會照著舊資料做;紀錄不刪,註記原始資料已不存在,軌跡才留得住。AI 一參與產出,要標的就多一件:它根據什麼、有沒有人驗過。《代理式應用十大風險》對影響大的記憶,也要求過兩道條件才能調出來用,例如來源和人工驗證的標記。
如果有人要你說明某個決定當初是怎麼來的,例如主管機關來查、客戶的法務在爭議裡要證據,或一筆申請被退之後當事人要一個理由,那一刻你手上有什麼,取決於更早以前做過的決定:留什麼、留多久、誰負責看。這些都不是工程題。
留什麼,兩頭都有代價。留得太少,出事時還原不了過程;留得太多,紀錄本身就成了要保護的資料。OWASP 那份資料安全指南提醒,AI 系統為了除錯常常什麼都記,而那些紀錄裡可能有提示內容、工具回傳的資料和密鑰,所以它要求預設少記,敏感的部分遮掉。NIST 的框架則提醒,想把風險完全消除,反而可能把有限的資源用錯地方,應該按風險等級和影響排優先。這一題沒有標準答案,要放在一起考慮的是:這份紀錄出事時能不能還原過程、它自己外洩時會暴露什麼、有沒有人真的會去用它。
留多久有法源。歐盟的人工智慧法(EU AI Act)第十二條要求高風險系統在技術上要能夠自動記錄事件,第十九條和第二十六條再規定,這些紀錄要保存到符合用途的期間,而且至少六個月。不過高風險這一段依 2026 年的修正,要到 2027 年底才開始陸續適用。這部法管的是在歐盟推出、或產出會在歐盟使用的系統;不在這個範圍裡的,要看你所在產業和地區的規定,剩下的由你決定。
最後是誰負責看。這裡問的不是誰讀得到,是有沒有人負責盯,或設好告警替人盯。紀錄留了,沒有人、也沒有告警在盯,當下該發現的就發現不了,只剩出事之後拿來追查。
還有一種情況是量不出來。NIST 的框架在量測那一組裡,有兩條對資源有限的公司很友善:決定不量或量不了的風險,要好好寫下來;還沒有指標可以量的,要考慮用什麼方式追蹤。那份框架不是法規,它不會要求你做到什麼,但它把標準放在一個做得到的位置:你不必假裝量得出來,你要寫下哪些量不出來,以及打算怎麼追蹤。