iT邦幫忙

2026 iThome 鐵人賽

DAY 5
0
自我挑戰組

《30 天用 GCP Security 打造企業級 AI 安全防線》系列 第 5

Day 5|12 項能力缺口:企業導入 AI 前該補的安全課

  • 分享至 

  • xImage
  •  

為什麼要用「角色」而不是「技術層」來切能力缺口

多數 AI 安全框架(包含昨天談的 MODA 框架、明天要談的 OWASP LLM Top 10)都是用「風險類型」或「技術層」在切分問題。但企業實務上,落地卡關的地方往往不是「不知道有哪些風險」,而是「不知道這件事該由誰、在什麼時間點負責」。

這是我在 INFOSEC Taiwan 2026 提出的另一種切法:把 AI 落地過程中最常出現的能力缺口,依角色分成三組、每組 4 項,共 12 項。

12 項能力缺口全表

開發者(D) 產品經理(P) 架構師(架A)
D1 Prompt 邊界與 system prompt 洩漏防護 P1 AI 功能的可驗收條件 架A1 Multi-tenant 隔離
D2 RAG 資料分層(索引權限、PII 脫敏)⭐ P2 使用者同意與資料邊界 架A2 Agentic 權限分層與 blast radius ⭐
D3 AI 輸出驗證(schema/policy check) P3 Hallucination 產品決策(HITL)⭐ 架A3 濫用與成本防護
D4 AI Logging 與可追溯性 P4 第三方模型供應商評估 架A4 跨模型 fallback 設計

(⭐ 標記的三項是 INFOSEC Taiwan 演講中深入展開的案例:D2 金融業案例、P3 製造業案例、架A2 科技業案例)

命名提醒:架構師這組原本會很自然地想標成 A1-A4,但數發部官方框架的技術缺陷類別也用 A1-A8 編碼,兩者放在同一份對外素材裡會直接撞碼混淆。因此本系列統一把架構師組寫成「架A1-架A4」,跟官方的 A1-A8 明確區隔。

三個代表性案例的核心邏輯

D2(RAG 資料分層):金融業客戶最常見的地雷,是把整個知識庫一股腦丟進向量資料庫,卻沒有依部門、依客戶做索引層級的存取控制,導致 RAG 檢索時把不該給某個角色看到的內容也撈出來組進答案。

P3(Hallucination 產品決策):不是所有幻覺都要靠模型微調解決,很多時候是產品設計上該不該讓使用者「盲目相信」輸出結果的決策——哪些場景必須有 human-in-the-loop,這是 PM 該定義的產品邊界,不是工程問題。

架A2(Agentic 權限分層與 blast radius):這一項會在主題二整個系列反覆出現。Agent 一旦擁有自主決策權、工具呼叫權,風險就不再是單一動作的錯誤,而是「這個 Agent 出錯時,最多能波及多大範圍」——這正是 blast radius 設計的核心。

這 12 項缺口怎麼用

Week 1 剩下的篇幅先建立地圖,實際的技術落地會在 Week 2-5 陸續對應回來——例如 D2 的 RAG 資料分層會扣回 Week 3 的 VPC Service Controls 與 Sensitive Data Protection,架A2 會在主題二整個 Agentic 攻防系列裡深挖。


上一篇
Day 4|MODA 風險分類框架 × GCP 原生控制對照
系列文
《30 天用 GCP Security 打造企業級 AI 安全防線》5
圖片
  熱門推薦
圖片
{{ item.channelVendor }} | {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言