這是整個專案最重要的一句話，而它來自一次失敗。

Day 12 那個令人失望的 benchmark 結果，逼我重新想一個問題：如果我花了兩週訓練的模型，效果跟原始模型差不多，那我的系統還剩下什麼？

答案是：幾乎全部。

四個任務的流程、Data Pack 的組裝、脈絡的注入、人審的閘道、狀態機、稽核軌跡、測試的三大鐵律——這些東西沒有一項依賴於「模型有多強」。

換一個模型，這些全部還在。

那一刻我才理解：模型不是這個系統的核心，它是流程中的一個可替換元件。

三層架構

把整個系統攤開，它是三層：

┌───────────────────────────────────────────────┐
│  第三層：治理層                                 │
│  狀態機 / 人審閘道 / 稽核軌跡 / 風險分級 /      │
│  測試鐵律 / 缺陷分級                            │
│  ── 幾乎永不改變                                │
├───────────────────────────────────────────────┤
│  第二層：資料脈絡層                              │
│  Data Pack / 統計計算 / RAG 檢索 / 歷史範本 /   │
│  客戶偏好 / 出處標記                            │
│  ── 隨業務演進，但與模型無關                     │
├───────────────────────────────────────────────┤
│  第一層：模型層                                  │
│  微調過的 LLM                                   │
│  ── 可替換                                      │
└───────────────────────────────────────────────┘

價值密度由上往下遞減。維護成本由上往下遞增。

這個關係很反直覺——投入最多時間的那一層（模型），是最容易被取代的一層。

換模型時，什麼要動什麼不用動

假設明天出現一個更好的開放模型，我要換過去。要做的事：

要動的：

• 重跑三階段訓練（或直接用它的 instruct 版本測試）
• 重新驗證 prompt 的效果（不同模型對 prompt 的反應不同）
• 重跑四類評測指標（Day 14）
• 重跑三大鐵律的測試（Day 25）
• 調整輸出長度與格式的細節

完全不用動的：

• Data Pack 的 schema 與組裝程式
• 統計計算的邏輯
• RAG 庫與檢索邏輯
• 文件狀態機
• 人審介面與流程
• 稽核軌跡的記錄
• 風險分級與放行規則
• 缺陷分級標準
• 四份 SKILL 的政策部分（規則、邊界、審核條件）

第二份清單比第一份長。而且第二份裡的每一項，都是花了更多時間想清楚的東西。

資料脈絡層才是護城河

第二層值得單獨談，因為它是最被低估的一層。

這一層裡有什麼別人拿不走的東西？

• 客戶的資產清單與業務脈絡（Day 16 的 business_owner_dept、criticality）
• 客戶的偏好與慣例（Day 15 的 client_preferences）
• 前六期月報的格式與語氣（Day 20）
• 累積的歷史 Q&A（Day 19）
• 人填的 context_notes（Day 20）
• 審核者六類修改的累積紀錄（Day 19）

這些東西沒有一項可以靠買一個更強的模型得到。

它們是時間、關係、與人的專業判斷長出來的。一個競爭者就算用了比你強十倍的模型，他也沒有這家客戶前六期月報的語氣、沒有這家客戶的資產重要性標記、沒有三年份被顧問核可過的問答。

護城河在第二層，不在第一層。

而我一開始花了最多力氣在第一層。這是這 30 天最大的認知修正。

治理層為什麼幾乎不變

第三層的東西——狀態機、人審、稽核、分級——為什麼說它「幾乎永不改變」？

因為它們處理的不是技術問題，是責任問題。

• 誰簽名？（人審）
• 出事怎麼追？（稽核軌跡）
• 什麼不能自動？（風險分級）
• 什麼是不可接受的？（S1 定義）

這些問題的答案，不會因為模型從 4B 變成 400B 而改變。它們的答案取決於這個行業的責任結構、客戶的期待、與法規的要求——而這三者的變化速度，比模型慢得多。

這對「該投資什麼」的意涵

如果你正在規劃一個類似的系統，我的建議是把資源這樣分配：

特別是最後一列。 開放模型的進步速度非常快。你花三個月自己訓練出來的提升，可能下一個開放模型的釋出就抵銷了。

但你花三個月建的 Data Pack schema、累積的客戶脈絡、設計好的審核流程——沒有任何外部進步會幫你做這些。

那微調到底值不值得做？

值得，但理由跟我一開始想的不同。

一開始的理由：讓模型更懂資安，表現更好。→ 這個理由的回報率不高。

實際的理由：

1. 格式與語氣的一致性，這是 RAG 和 prompt 補不上的（Day 13）
2. 拒答邊界的調整，這是新人訓練任務的必要條件（Day 21）
3. 地端可控，這是資料不能出境時的唯一路徑（Day 3）
4. 成本結構自主，不受外部 API 的定價與可用性影響

四個理由裡，只有第一個跟「模型能力」有關，其他三個都是條件與約束。

微調不是為了讓模型變強，是為了讓它變得合身可用。

明天最後一天。

🛡️Instagram： @aid3fend — AI 資安實戰紀錄，歡迎追蹤交流。