iT邦幫忙

2026 iThome 鐵人賽

DAY 27
0
AI Security

新手上路不當砲灰!30 天一章一章啃完 CompTIA SecAI+ 備考筆記系列 第 27

如何幫 AI 量體溫?NIST AI RMF 框架的 MEASURE 與 MANAGE 功能

  • 分享至 

  • xImage
  •  

大家好,昨天我們聊了 NIST AI RMF 的前半部,也就是建立制度的地基(GOVERN)和系統化找出地雷(MAP)。
今天,我們要來看這套美國國家級 AI 安全框架的後半部:MEASURE(量測)MANAGE(管理)

這兩個功能的邏輯非常直覺:
你沒辦法管理你沒辦法量測的東西(What you can't measure, you can't manage)。
如果你說「我們公司的 AI 系統很安全、對駭客很有抵抗力」,你不能只憑感覺,你得用客觀的指標把分數算出來(MEASURE)。
而有了指標之後,你才能針對不及格的地方,進行具體的風險控制與持續監控(MANAGE)。

今天我們就來聊聊,如何幫 AI「量體溫」,以及當 AI 發燒出事時,防守方該怎麼處理。


一、 功能三:MEASURE(量測)—— 用數字證明 AI 的健康度

MEASURE 的核心目標,就是把主觀的「安全」、「強韌」或「公平」,變成客觀、可重複驗證的數學指標。

在實務評估和 GRC 稽核中,NIST 特別強調,任何安全量測必須具備這兩個核心基石:

  • 可重複性(Repeatability):同一個測試人員在同一個環境,用同一個方法多次測試同一個 AI 模型,結果必須要一致。
  • 可再現性(Reproducibility):換了不同的人員、在不同的環境和硬體下測試,也必須能跑出相同的測試結果。

如果量測結果不能重複或再現,這就是「無效量測」。在建立好這個量測基石後,我們會去測量以下五個關鍵維度:

1. 準確性量測(Accuracy)

根據 AI 負責的任務,選擇對應的指標。如果是分類任務(比如偵測垃圾郵件、抓病毒),我們最常看 Precision(精確率)Recall(召回率)F1-Score(調和平均數)

2. 公平性與偏見量測(Bias Metrics)

AI 不能因為使用者的性別、年齡或種族而有差別待遇。
常見的測量方法有:

  • 人口統計平等(Demographic Parity):不論什麼族群,通過 AI 核准的比例都要差不多。例如:男性核貸率 70%,女性核貸率也應該要在 70% 左右。
  • 機會均等(Equal Opportunity):在同樣符合條件的群體中,被 AI 核准的比例要相近。

3. 強韌性量測(Robustness Testing)

這就是對 AI 模型進行「壓力測試」。

  • 主動用 FGSM/PGD 對抗性樣本去戳它,看模型在被干擾的情況下準確率會下降到多少。
  • 導入 AI 紅隊評估(AI Red Teaming)

4. 可解釋性評估(Explainability)

量化人類「看懂 AI 決策理由」的程度。最常用的量化方法是利用 LIME 或是 SHAP 演算法,把每個特徵對 AI 決策的貢獻度畫成直方圖。

5. 隱私風險量測

  • 量測差分隱私的 隱私預算 ε (epsilon) 到底設得夠不夠安全。
  • 主動發動「成員推斷攻擊」,看駭客能成功反推出訓練集個資的機率是多少。

二、 功能四:MANAGE(管理)—— 執行風險與危機處理

核心問題:「根據我們測量出來的體溫,我們該採取什麼行動?」

MANAGE 是 NIST AI RMF 的「執行手腳」。它要把前面的評估結果,轉化成具體的安全防守動作:

1. 四大風險回應策略(Risk Response)

面對測量出來的 AI 風險,我們有四種標準處置策略(在選擇時,會高度取決於企業自身的風險容忍度 Risk Tolerance):

  • 緩解(Mitigate):採取控制措施來降低風險的機率或衝擊(比如:發現 API 容易被模型竊取,於是加上速率限制)。這是最常採用的做法。
  • 轉移(Transfer):把風險轉給別人(例如:買資安保險,或是簽合約把賠償責任轉給第三方 AI 供應商)。
  • 接受(Accept):分析後發現風險極低,決定不予處理、直接放行,但必須在系統內簽核記錄。
  • 規避(Avoid):風險實在太大了(比如情緒辨識可能違反歐盟法規),決定直接停用這個 AI 專案。

2. AI 專屬的事件應變與降級備援(Fail-safe & Fallback)

當 AI 系統真的遭遇安全事故(例如:大模型被提示詞注入搞瘋了、天天對著客戶飆髒話,或者被注入惡意程式碼),我們需要啟動 AI 專屬的事件應變計畫(Incident Response Plan)

💡 自學筆記:熔斷與降級備援是寫系統的硬道理!
像我們寫系統這麼多年,一讀到 AI 事故應變時要考慮 降級備援(Fallback)故障安全(Fail-safe) 機制,直覺立刻就接上了。
這完全就是我們在系統架構中天天在談的 「熔斷機制(Circuit Breaker)」 嘛!
當大模型被灌了迷湯、言論失控時,我們不能直接把服務中斷(這會導致 DoS),最優雅的作法是讓系統自動熔斷、並進行 模型回滾(Model Rollback) 退回到上一個安全的模型版本;或者乾脆自動降級為傳統、最安全的 If-Else 靜態客服選單請按 1 查餘額、按 2 接專人...)。
雖然看起來變笨了,但它絕對安全,不會對外噴出不該說的話,這才是我們寫高可用性系統的實務硬道理!

3. 持續監控(Ongoing Monitoring)

AI 上線後不是就一勞永逸了,必須像監控主機一樣天天看:

  • 模型漂移監控(Model Drift):看模型預測的能力是不是隨著時間和新數據的加入而退化(Concept Drift)。
  • 資料漂移監控(Data Drift):看最近輸入系統的資料分佈,是不是跟當初訓練時的資料長得完全不一樣。

4. AI 安全退役(Decommissioning)

當 AI 完成歷史任務需要下線時,必須做好安全處置:

  • 安全清除模型與所有訓練資料(防止硬碟被偷、造成資料外洩)。
  • 通知所有依賴此 AI 的下游使用者。

三、 四大功能整合全景

NIST AI RMF 的四個功能絕對不是走完一次就結束的線性流程,它是一個持續迭代的閉環(Feedback Loop)

NIST AI RMF 持續改進閉環

      ┌─────────────────────────────────┐
      │         GOVERN(治理)          │ ──→ 建立政策與角色地基(最核心)
      └────────────────┬────────────────┘
                       │
       ┌───────────────┼───────────────┐
       ▼               ▼               ▼
   ┌───────┐       ┌───────┐       ┌───────┐
   │  MAP  │ ───→  │MEASURE│ ───→  │MANAGE │
   │ 找風險 │       │ 量分數 │       │ 做處置 │
   └───────┘       └───────┘       └───┬───┘
       ▲                               │
       └───────────────────────────────┘
              持續回饋與調整

🔑 模擬題解析

Q: 某家醫院評估了一款 AI 腫瘤診斷系統。在對該系統進行『隱私風險量測』後,安全團隊發現其面臨極高的成員推斷攻擊風險。由於該風險高於醫院的容忍度,團隊決定在訓練階段實施 DP-SGD 差分隱私算法,以將隱私外洩機率控制在安全範圍內。請問這家醫院採取的風險回應策略,屬於以下哪種類型?

A. 風險規避(Avoid)
B. 風險轉移(Transfer)
C. 風險接受(Accept)
D. 風險緩解(Mitigate)

【正確答案】D

【解析】

  • 抓解題關鍵字實施差分隱私算法將風險控制在安全範圍內
  • 分析:在 GRC 風險回應中,當風險高於組織的「風險容忍度」時,我們透過加入特定的技術或管理控制措施(例如實施差分隱私演算法),來降低(Lower)風險發生的機率或可能造成的衝擊,這在定義上就是最標準的風險緩解(Mitigate)。所以正確答案選 D

🎯 今日學習筆記重點

  • MEASURE(量測):用客觀指標說話。量測的基石在於 可重複性(Repeatability)可再現性(Reproducibility)
  • MANAGE(管理):落實風險回應。包括四大策略:緩解(Mitigate)、轉移、接受、規避
  • 降級備援(Fallback):AI 事故應變的核心,大模型出事時應具備自動熔斷、模型回滾(Rollback)或降級為靜態規則的 Fail-safe(故障安全)機制。
  • 持續監控:上線後天天盯著有沒有**模型漂移(Model Drift)**與資料漂移。
  • 運作結構:NIST AI RMF 是一個以 GOVERN 為基礎,MAP、MEASURE、MANAGE 持續迭代的閉環。

明天我們要來聊聊 AI 治理的最後一個神兵利器:ISO/IEC 42001(AI 管理體系國際標準)。我們要來看看,它是如何把歐盟 AI 法案和 NIST RMF 的概念,包裝成可以拿到外部稽核認證的 ISO 標準!

我們明天見啦!


上一篇
美國政府推薦的 AI 安全指南:NIST AI RMF 框架的 GOVERN 與 MAP 功能
下一篇
AI 的 ISO 認證:ISO/IEC 42001 國際標準與三大 AI 治理框架對比
系列文
新手上路不當砲灰!30 天一章一章啃完 CompTIA SecAI+ 備考筆記29
圖片
  熱門推薦
圖片
{{ item.channelVendor }} | {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言