[[我也希望安全第一]]|第 27/30 天
Kimi K3 傳出將以 2~3 兆參數的開放權重逼近閉源前沿模型時,美國政策圈很快出現「要不要禁」的聲音。爭論一邊擔心高能力權重一旦流出就收不回來,另一邊認為限制只會保護既有實驗室,讓研究者和防禦者失去工具。
開始以前,至少要先分清楚:開放原始碼、公開訓練方法,以及允許下載模型權重不是同一件事。只有權重可下載,也未必知道資料來源、訓練程式與完整評估;能在 API 上使用模型,更不代表能檢查或修改它。
這篇使用「開放權重」,不是把所有模型都叫成完整開源專案。
| 面向 | 開放權重帶來的機會 | 同時帶來的風險 |
|---|---|---|
| 可檢查性 | 研究內部表徵、重現 eval、找後門 | 檢查成本高,公開不等於有人看得懂 |
| 可修改性 | 修補、量化、在地語言與私有部署 | guardrail 可被移除,也能微調成攻擊工具 |
| 可取得性 | 小團隊、防禦者與學界取得能力 | 濫用者同樣不必通過平台審查 |
| 可持續性 | 供應商倒閉或斷線仍能運作 | 舊版本可能長期無人修補 |
| 集中控制 | 降低單一平台封鎖與監控權 | 發布後難以撤回、限速或觀察濫用 |
| 資料自主 | 可在自有環境處理敏感資料 | 維運者自己承擔金鑰、權限與紀錄安全 |
所以「開放就是透明」和「開放就是危險」都少了一半。真正影響風險的是能力、修改成本、部署規模、支援資源,以及使用者是否有能力負責後續維運。
Nvidia、Meta、Microsoft、Mistral、Hugging Face 等公司聯署反對廣泛限制開放權重,主張防禦者需要與攻擊者相近的能力才能測試和修補。Hugging Face 事件後,平台據稱因商用模型 guardrail 無法分辨合法防禦與攻擊,轉而使用中國 Z.ai 的開放模型協助調查。
這是一個很尷尬的例子:平台防護原本想減少 exploit 協助,結果也可能把正在 on-call 的防禦者擋在門外。
但連署者不是沒有利益。硬體與雲端公司會從更多模型下載、微調與部署中受益;開放模型供應商也希望降低市場限制。反方同樣有商業位置:閉源實驗室能透過 API 收費,並把監控和安全服務當成差異化能力。
讀公開信時,最有用的做法不是猜誰比較高尚,而是把安全論點和收入來源一起放在桌上。
Dario Amodei 表示並不反對所有開放權重,較弱模型可以是公共財;他擔心的是具備高階網攻、生物或軍事能力的權重被大量複製、移除防護,並在私人環境中運行。這個風險不會因閉源公司也有利益就消失。
平台 API 至少能限速、撤銷帳號、更新 classifier 和觀察部分濫用。這些控制會誤判,也可能被平台濫權;開放權重則把控制權交給部署者。兩者不是安全與不安全的二選一,而是風險由誰承擔、誰能看見、誰能停止的不同安排。
若模型能力差距很大,發布方式也不必只有 API 和公開權重兩格:
| 等級 | 發布方式 | 適用情境 | 必要證據 |
|---|---|---|---|
| R0 | 不發布/內部研究 | 能力與失敗模式仍未知 | 內部隔離與持續評估 |
| R1 | 受控研究存取 | 需要外部重現與紅隊 | 身分、研究範圍、事件通報 |
| R2 | 託管 API | 高能力但需要撤銷、限速與監控 | 濫用測試、存取政策、申訴 |
| R3 | 限制授權的權重 | 可在地部署,但仍需分發條件 | license、hash、模型卡、修補通道 |
| R4 | 廣泛開放權重 | 能力低於高風險門檻或效益明確 | 完整 eval、已知限制與版本簽章 |
分級仍會遇到難題。能力門檻會變,較弱模型經微調、tool use 或多代理編排後可能變強;限制授權也未必擋得住再散布。因此 gate 不能只看單次 benchmark,還要測模型接上工具後的效果與可擴張性。
對下載權重的小團隊,最低限度應保留來源、license、hash、量化版本、修改紀錄與安全 eval;不要從不明鏡像抓一個檔案,就讓它接觸正式資料。自主性不是免維護,而是把供應商原本做的版本與事件回應接回自己手上。
這幾篇到這裡,政府的鎖也沒有哪一把單獨可靠。發布審查可能政治化,出口管制會催生替代品,主權方案有成本,開放權重則把撤銷能力換成分散創新。後面想要問的是:大家明知如此,最後為什麼仍選擇趕快上線?答案不只在政策,也在資本支出、營收和產品競爭。
政府能做的事比產品團隊更有強制力,副作用也更大。這裡的共同問題不是「要不要管」,而是每一種管制究竟碰到能力、存取、國界還是供應鏈。
| 鎖 | 放在哪裡 | 想攔住什麼 | 失效時的跡象 | 怎麼驗證 |
|---|---|---|---|---|
| Release packet 與外部評估 | 模型發布前 | 公司用單一安全分數自行放行 | 評估者拿不到 logs、時間太短或不能公開限制 | 列出拒絕存取、已知失敗與修補後重測 |
| 分級限制與異議程序 | 緊急處置 | 高風險能力持續全面暴露 | 只有全面封鎖,沒有恢復門檻與申訴 | 演練分階段降級、復原與期限審查 |
| 晶片、算力、API 與能力管制 | 出口與跨境服務 | 特定對象快速取得高風險能力 | 轉運、替代供應商與防禦者一起受限 | 追蹤實際取得成本,不只看禁止名單 |
| 供應鏈與 exit drill | 採購與主權風險 | 單一外國供應商中斷便停擺 | 沒有模型替代、資料匯出或降級模式 | 定期切換供應商並比較行為差異 |
| Open-weight release ladder | 權重發布 | 一次公開後無法撤回的能力擴散 | 微調、工具連接後跨過原評估門檻 | 研究存取、API、限制授權與廣泛發布分級測試 |
制度能改變誰可以取得模型,卻同樣受到市場與國家競爭拉扯。最後幾篇要回到決策現場:到底是誰決定這些鎖值不值得付錢。