這幾年 AI 發展神速，但伴隨「無限可能」而來的，是「無限風險」。IBM 的 Jeff Crume 在影片 Security & AI Governance: Reducing Risks in AI Systems裡，談到了 如何透過治理（Governance）與安全（Security）來降低 AI 系統的風險。我把內容整理成幾個重點，並加上自己的反思。

🎯 為什麼需要治理與安全？

AI 能做很棒的事，但同時也可能：

• 給錯答案 → 導致聲譽受損
• 使用不當數據 → 面臨法規或版權風險
• 被駭客攻擊 → 敏感資訊外洩

👉 治理：避免「自己造成的傷害」——像是用錯模型、資料來源不純、偏見或幻覺。
👉 安全：避免「別人造成的傷害」——惡意攻擊、內部濫用、提示注入等。

👥 誰負責？

• 治理：首席風險官（CRO）領軍，確保合規、可解釋、公平性。
• 安全：首席資訊安全官（CISO）主導，確保 CIA 三元組：機密性（Confidentiality）、完整性（Integrity）、可用性（Availability）。

🔍 典型風險

治理面

• 模型幻覺（hallucination）、偏見、不透明
• 使用未授權資料（IP 風險）
• 模型漂移（Model Drift）
• 聲譽與公平性問題

安全面

• 提示注入（Prompt Injection）
• 未經授權存取（Unauthorized Access）
• 錯誤配置（Misconfiguration） → 數據暴露
• 服務阻斷攻擊（DoS）

🧩 控制措施與框架

Jeff 提到，治理與安全看似兩條線，但其實應該整合成「多層防護」：

1. 治理層：

   • 定義 AI 使用案例
   • 模型管理（來源、血統追蹤）
   • 風險管理與合規性
   • 生命週期管理

2. 安全層：

   • AI 安全態勢管理（發現影子 AI、修正錯誤配置）
   • 滲透測試與自動化安全掃描
   • AI 防火牆 / 閘道器（即時阻擋提示注入或洩漏）
   • 威脅監控與儀表板

🚨 延伸：LLM OWASP Top 10 (2025) 與治理/安全對照

OWASP 2025 年的 LLM 十大風險，正好呼應了 Jeff 提到的治理 & 安全核心：

📌 洞見：

• 治理 = 預防「自己搞砸」
• 安全 = 防止「別人搞砸」
• OWASP Top 10 = 提供「檢查清單」與「實戰警示」

📖 小案例：銀行客服 AI

想像一家銀行導入客服 AI：

• 治理失敗 → 模型引用了受版權保護的資料，或回答出現性別歧視。屬於 OWASP #3 模型竊用、#4 偏見問題。
• 安全失敗 → 黑客透過提示注入 (OWASP #1) 讓客服 AI 洩漏交易紀錄。屬於外部惡意攻擊。

👉 治理確保 AI 說對的話；安全確保 AI 不被操縱說錯的話。

💡 心得整理

1. 治理與安全是互補，而非替代：前者避免內傷，後者防範外患。
2. AI 治理的核心在「工程化」：要能追蹤模型來源、設計可接受的使用政策，而不是 ad-hoc。
3. AI 安全的新挑戰是「提示注入」：比傳統漏洞更隱晦，必須用新工具（AI 防火牆、自動測試）來因應。
4. 「生命週期管理」是關鍵詞：AI 不是一次性專案，而是持續演化的系統。
5. OWASP Top 10 提供操作性清單：能讓治理 & 安全的落實更有依據。

📌 總結

影片最後 Jeff 強調：
如果我們把 AI、本身的治理、再加上安全層，三者整合起來，就能真正降低 AI 的風險。

換句話說，AI 的未來不是「更聰明」而已，而是「更可信、更可控」。

這才是讓 AI 真正落地的條件。