iT邦幫忙

2026 iThome 鐵人賽

DAY 28
0
Claude AI

從 AI 助理到營運中台:金融 PM 的 30 天 Claude Code 治理實戰系列 第 28 篇

人機協作的安全防線:如何打造防止 AI 脫韁的「人工決策站」?

  • 分享至 

  • xImage
  •  

當 AI 跑得太快,我們需要一個「紅綠燈」

在企業導入生成式 AI 的競賽中,最致命的隱憂往往不是 AI 產出了錯誤資訊,而是人類在審核時進入了「自動導航」模式。許多企業的審核流程僅是虛有其表:介面上的核准按鈕可以隨意點擊、退回意見被空字串填塞,甚至連最終發布的是「AI 原稿」還是「人工修正版」都模糊不清。這種流於形式的「圖章蒐集」,讓 AI 治理成為一紙空文。

身為科技治理解構師,我認為 AI 治理的關鍵在於建立一個具備「強制性」的人工決策站 (Human Decision Station)。這不只是一個 UI 模組,更是系統的治理靈魂——它確保每一項高風險產出在抵達終端用戶前,都必須經過實質、結構化且不可竄改的人類干預。


亮點一:別只鎖前門,要在「咽喉點」裝鎖

在 BAIOS 的開發過程中,我們曾遇到一個典型的架構漏洞:即便在決策站的前端介面設置了權限檢查,但若底層的 flow_service 仍保留開放路徑,一個不在名冊內的「路人甲」依然能透過對抗性探針直接呼叫 API 蓋章成功。

這揭示了系統防禦的戰略差異:入口檢查 (Entry Point Check) 雖然直觀,但隨著系統規模擴張,每增加一個頁面或腳本就要重裝一把鎖,遺漏風險極高。真正的治理者應採取「咽喉點策略」。

> 檢查放在入口,有幾個入口就要裝幾把鎖;放在咽喉點,一把就夠。

我們將所有核心操作——包括 review (核准/退回)、human_takeover_restart (重啟) 與 resume_returned (恢復執行) ——的權限檢查全部下沉到核心服務層(flow_service)。無論請求來自 Streamlit 頁面、測試腳本還是外部 API,都必須經過這個唯一的咽喉點,徹底封殺任何「側門」風險。

https://ithelp.ithome.com.tw/upload/images/20261012/20144604fjhT0VIbTo.jpg


亮點二:結構化你的「決策靈魂」

傳統的系統日誌(Log)僅能記錄狀態變遷,難以支撐高風險決策的資安稽核。為了落實真正的問責制,我們建立了結構化審核追蹤 (Structured Audit Trail),將每一筆 DecisionRecord 以 append-only JSONL 格式儲存。這種追加式結構確保了紀錄的不可竄改性,防止事後抹除審核痕跡。

一筆具備治理高度的決策紀錄,必須包含以下六要素:

  • 案件編號 (Case ID):唯一識別該次生成任務,如 C-2026-0002。
  • 決定結果 (Decision):明確標註為 APPROVE、RETURN 或 EDIT。
  • 修改意見 (Comment):審核者的實質反饋,嚴禁空值。
  • 核准人與角色 (Actor & Role):確認審核者身份,如「王博仁(資料負責人)」。
  • 核准時間 (Timestamp):精確的決策時點,用於分析流程效率。
  • 最終採用版本 (Final Version):區分「AI 草稿照案採用」或「人工修改後版本」。

以下是一個典型的 DecisionRecord 範例:

{
"decision_id": "D-C-2026-0002-01",
"case_id": "C-2026-0002",
"decision": "APPROVE",
"comment": "六月業績數據經人工覆核無誤,同意發布。",
"actor": "王博仁",
"role": "資料負責人",
"timestamp": "2023-10-27T14:30:00Z",
"final_version": "AI_DRAFT_AS_IS"
}


亮點三:強迫性的溝通——為什麼「不行」不能只說兩個字

為了防止審核流於形式,我們在系統中內建了兩條剛性的業務規則,將「系統強制力」轉化為「行政規範力」:

  1. 退回必附修改意見:當審核者選擇「退回」時,系統強制要求填寫具體建議。若偵測到空字串,系統會直接拋出 ValueError。這確保了每一次「不行」都能引導有效的修正,而非無意義的公文往返。
  2. 核准必指明最終版本:核准人必須明確勾選採用版本。這消除了 AI 產出與人類責任之間的模糊地帶,是未來稽核「誰該為錯誤結果負責」的唯一判準。

這種強制力甚至適用於高層。在測試案例中,即便你是流程負責人(如陳潔如),若你並非該步驟名冊內的指定核准角色,當你嘗試點擊核准時,系統將當場拒絕。這種設計徹底封殺了過往「權力凌駕流程」的風險(如 Day 15 的劇本漏洞)。


https://ithelp.ithome.com.tw/upload/images/20261012/20144604OWEmzO1f4e.jpg

亮點四:縱深防禦——不相信單一防線

既然權限檢查已經下沉到咽喉點,為何還要保留前端介面的檢查?這就是資安領域的縱深防禦 (Defense in Depth) 原則。

  • 前端檢查:提供即時的用戶回饋,防止用戶在辛苦填寫完資料後才被後端拒絕,優化使用體驗。
  • 核心服務檢查:作為最後的保底機制,抵禦繞過 UI 的攻擊、開發人員的疏忽或是內部威脅 (Inside Threat)。

多重防線的並存,讓 BAIOS 在面對複雜的人機交互時,具備了更強的系統韌性與一致性。


總結與展望:從「看數字」轉向「看風險」

隨著第四個模組「人工決策站」的完成,BAIOS 已順利通過全套 243 條單元測試。我們不只封鎖了「路人甲」的漏洞,更讓每一筆 AI 產出都具備了可追蹤的「決策靈魂」。

然而,當決策站累積了大量待辦事項時,治理者的挑戰將從「執行」轉向「管理」。下一階段,我們將開發營運風險儀表板 (Operational Risk Dashboard),重點監控:

  • 待審件逾期率:哪些關鍵決策卡在了人工作業?
  • AI 版本被大幅修改比例:是否代表 AI 模型效能已開始衰退?
  • 異常核准行為:是否有特定角色頻繁在無意見情況下快速核准高風險案件?

最後,請反思一個問題: 當 AI 生成內容的量級爆發時,你的系統是真的在「審核」,還只是在「收集圖章」?真正的 AI 治理,不應寄望於人的自覺,而應始於對每一筆決策邏輯的硬性掌握。


上一篇
當過去的成功被發現是違規:權限矩陣揭露的系統治理危機
下一篇
為什麼「數據全過」反而是最危險的信號?從 AI 治理儀表板學到的 4 個管理啟示
系列文
從 AI 助理到營運中台:金融 PM 的 30 天 Claude Code 治理實戰 共 29 篇
圖片
  熱門推薦
圖片
{{ item.channelVendor }} | {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言