iT邦幫忙

2026 iThome 鐵人賽

DAY 27
0
AI Security

我也希望安全第一——然後我們看看這些鎖是怎麼一個個被撬開的系列 第 27 篇

第 27 篇|開放權重之爭:風險擴散,還是安全研究的入口

  • 分享至 

  • xImage
  •  

開放權重之爭:風險擴散,還是安全研究的入口

[[我也希望安全第一]]|第 27/30 天

「開源模型」這四個字,常把三件事混在一起

Kimi K3 傳出將以 2~3 兆參數的開放權重逼近閉源前沿模型時,美國政策圈很快出現「要不要禁」的聲音。爭論一邊擔心高能力權重一旦流出就收不回來,另一邊認為限制只會保護既有實驗室,讓研究者和防禦者失去工具。

開始以前,至少要先分清楚:開放原始碼、公開訓練方法,以及允許下載模型權重不是同一件事。只有權重可下載,也未必知道資料來源、訓練程式與完整評估;能在 API 上使用模型,更不代表能檢查或修改它。

這篇使用「開放權重」,不是把所有模型都叫成完整開源專案。

同一個特性,安全效果可能朝兩邊走

面向 開放權重帶來的機會 同時帶來的風險
可檢查性 研究內部表徵、重現 eval、找後門 檢查成本高,公開不等於有人看得懂
可修改性 修補、量化、在地語言與私有部署 guardrail 可被移除,也能微調成攻擊工具
可取得性 小團隊、防禦者與學界取得能力 濫用者同樣不必通過平台審查
可持續性 供應商倒閉或斷線仍能運作 舊版本可能長期無人修補
集中控制 降低單一平台封鎖與監控權 發布後難以撤回、限速或觀察濫用
資料自主 可在自有環境處理敏感資料 維運者自己承擔金鑰、權限與紀錄安全

所以「開放就是透明」和「開放就是危險」都少了一半。真正影響風險的是能力、修改成本、部署規模、支援資源,以及使用者是否有能力負責後續維運。

防禦者確實會被閉源 guardrail 擋住

Nvidia、Meta、Microsoft、Mistral、Hugging Face 等公司聯署反對廣泛限制開放權重,主張防禦者需要與攻擊者相近的能力才能測試和修補。Hugging Face 事件後,平台據稱因商用模型 guardrail 無法分辨合法防禦與攻擊,轉而使用中國 Z.ai 的開放模型協助調查。

這是一個很尷尬的例子:平台防護原本想減少 exploit 協助,結果也可能把正在 on-call 的防禦者擋在門外。

但連署者不是沒有利益。硬體與雲端公司會從更多模型下載、微調與部署中受益;開放模型供應商也希望降低市場限制。反方同樣有商業位置:閉源實驗室能透過 API 收費,並把監控和安全服務當成差異化能力。

讀公開信時,最有用的做法不是猜誰比較高尚,而是把安全論點和收入來源一起放在桌上。

發布之後收不回來,仍是一個真實差異

Dario Amodei 表示並不反對所有開放權重,較弱模型可以是公共財;他擔心的是具備高階網攻、生物或軍事能力的權重被大量複製、移除防護,並在私人環境中運行。這個風險不會因閉源公司也有利益就消失。

平台 API 至少能限速、撤銷帳號、更新 classifier 和觀察部分濫用。這些控制會誤判,也可能被平台濫權;開放權重則把控制權交給部署者。兩者不是安全與不安全的二選一,而是風險由誰承擔、誰能看見、誰能停止的不同安排。

比全面開放或全面封鎖更細的 release ladder

若模型能力差距很大,發布方式也不必只有 API 和公開權重兩格:

等級 發布方式 適用情境 必要證據
R0 不發布/內部研究 能力與失敗模式仍未知 內部隔離與持續評估
R1 受控研究存取 需要外部重現與紅隊 身分、研究範圍、事件通報
R2 託管 API 高能力但需要撤銷、限速與監控 濫用測試、存取政策、申訴
R3 限制授權的權重 可在地部署,但仍需分發條件 license、hash、模型卡、修補通道
R4 廣泛開放權重 能力低於高風險門檻或效益明確 完整 eval、已知限制與版本簽章

分級仍會遇到難題。能力門檻會變,較弱模型經微調、tool use 或多代理編排後可能變強;限制授權也未必擋得住再散布。因此 gate 不能只看單次 benchmark,還要測模型接上工具後的效果與可擴張性。

對下載權重的小團隊,最低限度應保留來源、license、hash、量化版本、修改紀錄與安全 eval;不要從不明鏡像抓一個檔案,就讓它接觸正式資料。自主性不是免維護,而是把供應商原本做的版本與事件回應接回自己手上。

這幾篇到這裡,政府的鎖也沒有哪一把單獨可靠。發布審查可能政治化,出口管制會催生替代品,主權方案有成本,開放權重則把撤銷能力換成分散創新。後面想要問的是:大家明知如此,最後為什麼仍選擇趕快上線?答案不只在政策,也在資本支出、營收和產品競爭。

第23-27篇裝了哪些鎖

政府能做的事比產品團隊更有強制力,副作用也更大。這裡的共同問題不是「要不要管」,而是每一種管制究竟碰到能力、存取、國界還是供應鏈。

鎖 放在哪裡 想攔住什麼 失效時的跡象 怎麼驗證
Release packet 與外部評估 模型發布前 公司用單一安全分數自行放行 評估者拿不到 logs、時間太短或不能公開限制 列出拒絕存取、已知失敗與修補後重測
分級限制與異議程序 緊急處置 高風險能力持續全面暴露 只有全面封鎖,沒有恢復門檻與申訴 演練分階段降級、復原與期限審查
晶片、算力、API 與能力管制 出口與跨境服務 特定對象快速取得高風險能力 轉運、替代供應商與防禦者一起受限 追蹤實際取得成本,不只看禁止名單
供應鏈與 exit drill 採購與主權風險 單一外國供應商中斷便停擺 沒有模型替代、資料匯出或降級模式 定期切換供應商並比較行為差異
Open-weight release ladder 權重發布 一次公開後無法撤回的能力擴散 微調、工具連接後跨過原評估門檻 研究存取、API、限制授權與廣泛發布分級測試

制度能改變誰可以取得模型,卻同樣受到市場與國家競爭拉扯。最後幾篇要回到決策現場:到底是誰決定這些鎖值不值得付錢。

參考與來源


上一篇
第 26 篇|企業選一個外國模型,也在選一套管轄與供應鏈
下一篇
第 28 篇|安全也得和 IPO、算力帳單一起排優先級
系列文
我也希望安全第一——然後我們看看這些鎖是怎麼一個個被撬開的 共 30 篇
圖片
  熱門推薦
圖片
{{ item.channelVendor }} | {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言