iT邦幫忙

2026 iThome 鐵人賽

DAY 28
0
AI Security

30 天認識 AI Security:從 LLM 攻擊到 AI 防禦系列 第 28 篇

Day 28|AI Blue Team:找到攻擊之後要怎麼防守?

  • 分享至 

  • xImage
  •  

上一篇介紹了 AI Red Team,它的工作是站在攻擊者的角度主動測試自己的 AI 系統,既然有負責攻擊的 Red Team,自然也會有負責防守的 Blue Team(藍隊),傳統資安中的 Blue Team 主要負責防禦、偵測與回應攻擊;放到 AI Security 中概念也很接近,只是現在除了 Server、Network、Account 等傳統目標之外,還需要面對 Prompt Injection、資料外洩、異常 Tool Calling、Agent 行為等 AI 特有或放大的風險。

Red Team 跟 Blue Team 差在哪?

Red Team:想辦法把系統弄出問題。
Blue Team:想辦法發現問題、阻止問題,並處理問題。

例如我們有一個公司內部 AI Assistant,Red Team 測試:
「我能不能用 Prompt Injection 讓 AI 讀取不該看的公司文件?」
結果真的成功了,Blue Team 接下來就需要處理為什麼成功?哪一層防禦失效?能不能偵測這種攻擊?如何避免再次發生?所以 Red Team 和 Blue Team 其實不是互相對抗,而是透過攻防測試一起把系統變得更安全,NIST 的 AI Risk Management Framework Playbook 也建議持續進行 Red Team 測試、記錄結果,並將監控、事件回應與改善整合進 AI 系統的生命週期。

Blue Team 第一件事:看得到 AI 在做什麼

假設今天 Agent 突然在短時間內呼叫:

readFile × 200
sendEmail × 150

如果完全沒有紀錄,我們根本不知道發生了什麼,所以 Day 21 介紹過的 Logging & Monitoring 在這裡就很重要,例如記錄 Tool Call:

function logToolCall(userId, tool, args) {
  console.log({
    time: new Date().toISOString(),
    userId,
    tool,
    args
  });
}

這樣當系統發生異常時,Blue Team 才有資料可以調查哪個 User 發起的?Agent 呼叫了什麼 Tool?什麼時候開始?呼叫了幾次?而且 AI 上線前的測試並不能保證上線後永遠沒問題,NIST 在 2026 年的 AI 系統監控報告中特別指出,實際部署後仍可能因動態輸入、模型的不確定性等因素出現測試環境沒有發現的情況,因此 Post-deployment Monitoring 很重要。

第二件事:發現異常

只有 Log 還不夠,假設正常情況下 refundOrder 每天大約被呼叫 20 次,結果今天突然 refundOrder 一小時被呼叫 500 次,這就值得注意觀察一下,我們可以設定簡單的規則:

if (refundCount > 100) {
  sendSecurityAlert("Abnormal refund activity");
}

實際系統當然不會只靠一個 if,但概念就是建立正常行為的基準,持續監控異常行為,AI Agent 還可以觀察其他東西,例如 Tool Call 次數突然暴增、Prompt Injection Detection 大量觸發、敏感資料輸出增加,或 Agent 不斷重複相同操作。

第三件事:Incident Response

如果真的偵測到攻擊,就進入 Incident Response(事件回應),例如我們發現某個 Agent Account 正在大量讀取公司機密文件,這時候不能只寄一封 Alert 給工程師,可能需要立刻限制 Account、停止 Agent、撤銷 Token,接著調查 Log 確認哪些資料已經被存取,修補漏洞後再恢復服務,OWASP 也有專門針對 GenAI 的 Incident Response Guide,目的就是把既有事件回應方法延伸到 GenAI Application 的風險與攻擊情境,
所以 Blue Team 不只是擋攻擊,還包括:發現 → 控制 → 調查 → 修復 → 恢復。

Red Team 找漏洞,Blue Team 把漏洞變成防禦

這兩天其實可以連在一起看,假設 Red Team 發現 Prompt Injection 可以讓 Agent 呼叫 sendEmail,把內部資料寄出去,Blue Team 就可以分析問題出在哪,可能最後加入:
Least Privilege:Agent 根本不需要寄外部 Email,就移除權限。
Human-in-the-loop:寄送敏感資料前必須人工確認。
Monitoring:短時間大量 sendEmail 就產生 Alert。
Output Filtering:偵測即將送出的內容是否包含敏感資訊。
這也是為什麼前面學的防禦不是獨立存在的,Red Team 負責找到怎麼打進來,Blue Team 則把這些結果轉變成真正的防禦措施。


AI Blue Team 的核心可以濃縮成持續監控 AI 系統、偵測異常行為,並在事件發生後進行控制、調查與修復,而 Red Team 與 Blue Team 合在一起,才能形成持續的攻防循環:
Red Team 發現問題 → Blue Team 修補與監控 → Red Team 再次測試。
前面 28 天我們已經分別看過 AI 的攻擊方式與防禦方法,下一篇就把這些東西組合起來:

Day 29|實戰設計:如果今天要做一個安全的 AI Assistant 應該怎麼設計?


上一篇
Day 27|AI Red Team:如果今天換我們來攻擊自己的 AI 系統呢?
下一篇
Day 29|實戰設計:如果今天要做一個安全的 AI Assistant 應該怎麼設計?
系列文
30 天認識 AI Security:從 LLM 攻擊到 AI 防禦 共 30 篇
圖片
  熱門推薦
圖片
{{ item.channelVendor }} | {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言