iT邦幫忙

2025 iThome 鐵人賽

DAY 7
0
Security

AI都上線了,你的資安跟上了嗎?系列 第 7

📍Day 7:AI 資安日誌該怎麼設計?Log 起來才算真的管得住

  • 分享至 

  • xImage
  •  

—— 模型很聰明,但你知道它昨天都做了什麼嗎?


🧠 為什麼 AI 系統需要記錄日誌?

當傳統系統出問題,我們會查:

  • 使用者誰、何時、從哪裡登入
  • 觸發了哪些功能?
  • 有沒有異常行為?

但當 AI 系統出錯,我們常聽到的是:

「使用者說它亂講話了。」
「可能 prompt 太複雜了吧?」
「啊⋯⋯沒記錄下來。」

👀 對,就是沒 log,什麼都查不到。
這也是許多企業導入 LLM 最大的隱憂。


🔍 AI 系統該記錄哪些東西?

項目 說明
使用者資訊 誰觸發了這次對話?(帳號 / IP / Session ID)
Prompt 記錄 System Prompt / User Prompt 內容
模型版本 呼叫的是哪個模型?(如 GPT-4 vs Gemini Pro)
回應內容 模型完整輸出,含 Text / Function Call
外部查詢紀錄 RAG 查詢了哪些資料?命中哪些 chunks?
回應時間與延遲 Response Time / Token 數量 / API latency
安全事件告警 是否命中 DLP、拒答規則、敏感字詞?

🧯 有了 Log,可以怎麼用?

📈 資安監控

  • 即時偵測 prompt injection、越權使用、敏感資料洩露
  • 建立 SIEM / SOC 警示規則

🕵️ 事後調查

  • 出事時重建對話情境,還原事故真相
  • 分析誰問了什麼、模型怎麼回

🧪 品質優化

  • 收集 QA 數據進行微調
  • 觀察回答品質趨勢與掉分點

📦 Log 記錄架構建議

以下是 AI 日誌系統的基本架構:

[使用者端] → prompt → 
[API Gateway] → [Log System] → [LLM 模型] →
[回應] → 記錄 → 儲存至日誌資料庫

建議搭配:

  • ✅ JSON 結構化儲存(便於查詢)
  • ✅ 建立 Token 數與回應時間指標(有助效能監控)
  • ✅ 模組化設計(支援不同模型與應用)

🎭 工程師小劇場

PM:「你們那個 AI 昨天是不是洩漏機密文件了?」
你:「⋯⋯我查一下 log」
你打開 Log 系統,發現什麼都沒記、沒存。

PM:「那⋯⋯你能不能還原一下昨天用戶問了什麼?」
你:「……能還原我就不會爆肝了」

🧨 當出事只能靠「回憶」時,資安等於沒做。


🎯 小結

AI 系統沒 log,就像飛機沒黑盒子。飛得再穩,也讓人不安心。

AI 模型不是黑箱,但我們要幫它建立「行為留痕」。
記錄就是風險管理的起點,是治理也是責任。


🔮 明日預告:Day 8|你的 AI,有實作 RBAC 嗎?

不是每個人都該問模型所有事。
角色、權限、分級存取,才是企業用 AI 的開始。


上一篇
📍 Day 6:Embedding 的資安盲點:你丟進去的資料還拿得回來嗎?
下一篇
📍 Day 7-2:AI 供應鏈資安警報!小心模型名稱空間被重複使用
系列文
AI都上線了,你的資安跟上了嗎?8
圖片
  熱門推薦
圖片
{{ item.channelVendor }} | {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言