iT邦幫忙

2025 iThome 鐵人賽

DAY 17
0
Security

AI都上線了,你的資安跟上了嗎?系列 第 21

📍 Day 17:模型供應鏈風險

  • 分享至 

  • xImage
  •  

—— 模型不是你自己訓練的,就要假設它帶毒。

對象:AI 平台工程師、資安團隊、CISO、法遵顧問
主題關鍵詞:模型供應鏈|開源權重|第三方 API|模型 Marketplace|SBOM


💬 開場:為什麼 AI 模型的供應鏈更危險?

在傳統 IT,我們已經熟悉「軟體供應鏈攻擊」:惡意套件、被污染的依賴、被竄改的更新。
進入 AI 時代,這個問題被放大十倍,因為模型本身就是黑箱二進位,且依賴更廣:

  • 開源權重(Hugging Face、ModelScope)
  • 第三方 API(OpenAI、Anthropic、Cohere)
  • 模型 Marketplace 的即取即用服務

一句話:只要信錯一次來源,就可能把整個企業資料管道開後門


🧠 模型供應鏈風險地圖

風險類型 說明 實際案例
惡意權重 (Poisoned Weights) 權重被植入後門,觸發特定輸入時洩漏資料 Hugging Face 社群揭露數百個惡意模型
Namespace Reuse 模型空間被註冊/轉移,攻擊者上傳假模型 Palo Alto Unit 42 披露 Hugging Face 名稱空間漏洞
API 偽冒 假 API endpoint 竊取 Token 或回傳惡意結果 假冒 OpenAI API endpoint 騙取金鑰
依賴污染 推理依賴惡意套件/Docker Image AI 影像生成工具遭惡意 Python 套件污染
資料合規 模型來源不明,含未授權訓練資料 多起 AI 公司因版權訴訟受罰

🛡️ 防禦策略:S-A-F-E

  1. Source Trust —— 僅信任官方或有簽章的模型來源
  2. Audit & Attestation —— 權重 Hash 驗證,Sigstore attestation
  3. Firewall & Filter —— 模型隔離掃描,Sandbox 測試後才進生產
  4. Evaluation & Red Team —— 行為測試:Backdoor trigger、Prompt Injection、輸出審計

🧰 工程實作

  • 模型 SBOM 範例
model:
  name: "fin-rag-bot"
  version: "1.2.3"
  hash: "sha256:abcd1234..."
  source: "huggingface.co/org/fin-rag-bot"
  dependencies:
    - torch==2.2.0
    - transformers==4.40
  attestation: "sigstore://fin-rag-bot/attestation.json"
  • 模型掃描 Pipeline
def verify_model(path, expected_hash):
    import hashlib
    h = hashlib.sha256(open(path,'rb').read()).hexdigest()
    if h != expected_hash:
        raise ValueError("Integrity check failed!")

def sandbox_test(model):
    triggers = ["!unlock123", "system:exec"]
    for t in triggers:
        out = model.generate(t)
        if "password" in out or "os.system" in out:
            raise RuntimeError("⚠️ Backdoor detected")

📊 指標與 SLO

  • 模型來源覆蓋率:有 SBOM/簽章的模型比例
  • 掃描檢測率:經 Sandbox 測試的模型比例
  • Backdoor FN Rate:紅隊觸發卻未攔截的比例
  • API 鑑別強度:OAuth / mTLS 覆蓋率
  • 合規透明度:能追溯訓練數據來源比例

🎭 工程師小劇場

PM:這個模型在 Hugging Face 上有十萬下載,應該安全吧?
你:下載數 ≠ 簽章驗證。沒有 SHA256,你敢用嗎?


🎯 小結

模型供應鏈就是新的軟體供應鏈攻擊面。
沒有 SBOM、沒有簽章、沒有 Sandbox 測試,就像拿企業資料玩俄羅斯輪盤。

最好的策略:把模型當成陌生人,驗證身份後再進公司


🔮 明日預告:Day 18|LangChain / LlamaIndex 安全設計指北

避免你的 Pipeline 變成攻擊者的樂園。


上一篇
📍 Day 16:微調資料治理(SFT/RLHF)與風險
下一篇
📍 Day 18:LangChain / LlamaIndex 安全設計指北
系列文
AI都上線了,你的資安跟上了嗎?24
圖片
  熱門推薦
圖片
{{ item.channelVendor }} | {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言