Model Card 上的安全分數，是誰測的

Google 發布 Gemma 系列模型時，會附上 model card 與安全 benchmark——但這些數字終究是 Google 自己測的。如果你是企業裡實際要決定「這個模型能不能上生產環境」的人，一個更根本的問題是：如果從攻擊者視角，用業界標準的 OWASP LLM Top 10 重新掃一遍，結果會一樣嗎？

這篇分享的是我今年在 COSCUP 2026（《我用 OWASP Top 10 掃了 Gemma 4，這是成績單》，8/9 GDG Taipei 場次）實際跑過的紅隊掃描方法與發現，用的是 NVIDIA 開源的 garak 弱點掃描工具——業界常把它類比成「LLM 界的 nmap」，支援 200 種以上的攻擊 probe，涵蓋編碼繞過、越獄、系統提示詞洩漏等多種攻擊手法。

這場掃描最有趣的發現：Stack-Variance

比起單純的「Gemma 4 安不安全」，這次掃描真正有價值的發現是：**同一顆 Gemma 4 模型，跑在不同的推論堆疊上（Ollama、MLX、vLLM），安全性測出來的分數並不一樣。**這個現象我暫時稱它 Stack-Variance——模型權重相同，但不同推論引擎在 tokenization、context 處理、甚至部分安全過濾邏輯上的實作差異，會讓同一組攻擊 payload 在不同 stack 上得到不同的結果。

這對企業的意義很直接：**你不能只看模型本身的安全評測就下結論，你的推論堆疊也是攻擊面的一部分。**同一份「model card」在你自己的部署環境裡，安全表現可能完全不同。

三個代表性測試類別

COSCUP 那場實際展示了三個 OWASP LLM Top 10 類別的實測：

LLM07 System Prompt Leakage：測試能不能透過各種提取技巧，讓模型洩漏出它的 system prompt 內容。

LLM06 Excessive Agency：測試模型在具備工具呼叫能力時，會不會被誘導做出超出預期授權範圍的動作。

LLM10 Unbounded Consumption：測試長上下文或特殊輸入是否會造成不成比例的資源消耗，形成資源耗盡型攻擊。

待實測提醒：COSCUP 投稿摘要中引用的具體數字（例如 Prompt Injection 類別 7 項測試通過 5 項、Visual Prompt Injection 3 項測試確認 2 項弱點）來自特定批次的掃描結果，不同推論堆疊、不同時間點重跑的結果可能有落差。正式發布這篇文章前，請替換成你最終在簡報上呈現、且你有把握覆核過的實際數據，不要沿用不同批次掃描報告裡可能互相不一致的數字。

用 garak 實際怎麼跑

# 快速掃描（挑選過的代表性 probe）

garak --model_type ollama --model_name gemma4:26b \

  \--probes encoding,dan,gcg,knownbadsignatures

# 完整掃描（耗時較長，建議背景執行）

nohup garak --model_type ollama --model_name gemma4:26b \

  \--probes all \\

  \--report\_prefix gemma4\_full\_scan \> garak.log 2\>&1 &

待實測提醒：garak 的 CLI 參數在近期版本有過調整（例如 --model_type/--model_name 在較新版本可能已更名為 --target_type/--target_name），發布前請對照當下安裝的 garak 版本號確認實際旗標名稱，避免文章裡的指令跟讀者裝的版本對不上。

結果怎麼解讀

garak 掃描結果是 FAIL 不代表「已經被攻破」，而是「模型在此測試情境下可能存在風險，需要人工複核」。企業評估時不該只看通過率的數字本身，而要看 FAIL 的項目分布在哪些 OWASP 類別——如果集中在 LLM06 Excessive Agency，代表你更該投入資源在 Agent 層的權限設計（呼應 Day23），而不是花時間微調模型本身。

這篇的檢查清單

• [ ] 是否已針對實際使用的推論堆疊（而非只看官方 model card）跑過獨立的紅隊掃描？
• [ ] 掃描結果的 FAIL 項目是否已依 OWASP 類別分類，決定資源投入的優先順序？
• [ ] 是否已確認 garak 版本與指令參數為當前最新語法？