第二部的收束

過去六天從環境建置一路做到失敗檢討。今天要把結論轉成一份可執行的修正方案，然後進入第三部的 Agent 落地。

修正分三塊：重新分流資料、重建評測、重新定義微調的角色。

修正一：重新分流

按 Day 6 的表格重做一次。具體動作：

從訓練集移出：

• CVE 資料庫描述 → 移到 RAG，並建立即時更新機制
• 資安標準與法規原文 → 移到 RAG，切塊時保留條號以便精確引用
• 產品操作手冊 → 移到 RAG
• 教材題庫內容 → 移到 RAG ＋ 評測集

加強訓練集：

• 敘事型資安文本（威脅分析、事故報告、技術部落格）→ 加重 CPT 佔比
• 繁體中文資安文本 → 提高比例，因為 iPAS 那組完全沒動，中文能力顯然還不夠
• 場景格式範本 → 增加 SFT 樣本的情境多樣性
• 邊界案例推理 → 增加蒸餾資料中「表達不確定」的比例

RAG 端的補強： 移到 RAG 的資料不是丟進去就好。要做的事包含：切塊策略（法規要按條切，手冊要按功能切）、metadata 標註（來源、版本、生效日期）、以及回傳結果必須帶出處——這是 Day 25「事實必回溯」的前置條件。

修正二：重建評測

這是修正方案裡最花工、也最有價值的一塊。我建了四類新指標。

指標一：格式一致性（自動）

怎麼測：準備一批標準輸入，讓模型產出，用程式檢查——必要段落有沒有齊、順序對不對、欄位名稱對不對、有沒有多出不該有的段落、長度有沒有落在合理區間。

為什麼有價值：這是微調直接改善的東西，而且完全可以自動化。它是我第一個能明確看到微調效果的指標。

指標二：事實回溯率（半自動）

怎麼測：模型輸出中的每一個事實性宣稱（CVE 編號、CVSS 分數、法規條號、統計數字），能不能對應到檢索到的來源？

怎麼算：可回溯的宣稱數 ÷ 總宣稱數。

為什麼有價值：這直接對應「幻覺」這個最要命的風險。而且它測的是整個系統（模型 ＋ RAG ＋ prompt）的表現，不只是模型。

指標三：審核通過率（需要人）

怎麼測：把模型初稿交給實際的審核者，記錄「不需修改直接通過」的比例。

為什麼有價值：這是最貼近商業價值的指標。 通過率決定了系統到底省了多少人力。

指標四：審核修改幅度（需要人）

怎麼測：對於需要修改的初稿，記錄修改的幅度與類型（格式問題？事實錯誤？語氣不對？漏了段落？）。

為什麼有價值：通過率告訴你「好不好」，修改幅度與類型告訴你「哪裡不好」。這是最有可操作性的回饋，直接指向下一輪要補什麼訓練資料。

這四個指標的關係

格式一致性  → 測微調的直接效果，自動、快、便宜
事實回溯率  → 測 RAG 與整合的效果，半自動
審核通過率  → 測商業價值，需要人，貴但必要
審核修改幅度 → 測改進方向，需要人，資訊量最大

前兩個可以每次訓練後跑，後兩個累積一段時間跑一次。

修正三：重新定義微調的角色

最後這塊是觀念上的，但它決定了後面所有的架構設計。

修正前的認知：

微調一個資安模型，讓它變得更懂資安，然後用它來做四件事。

修正後的認知：

建一套四個任務的工作流程系統，其中「產生初稿」這一步由一個經過微調的模型負責，它的職責是格式正確、語氣一致、思路收斂。事實由 RAG 提供，數字由程式計算，責任由人承擔。

這個轉換聽起來只是措辭差異，但它改變了很多決策：

• 模型不再是系統的核心，而是流程中的一個可替換元件
• 評估模型好壞的標準，從 benchmark 變成它在流程裡的表現
• 系統的價值不再由模型能力決定，而是由流程設計、資料脈絡、審核機制決定

而這正好推導出這個系列最後的那句話——模型可換，治理不變（Day 29）。

第二部總結

七天下來：

1. 算清楚了單機的記憶體邊界（Day 8）
2. 跑完了 CPT，學會了怎麼防災難性遺忘（Day 9）
3. 跑完了 SFT，建立了合成訓練資料的方法（Day 10）
4. 跑完了推理蒸餾，建立了四層過濾機制（Day 11）
5. 誠實面對了一個令人失望的 benchmark 結果（Day 12）
6. 拆解出三個原因並估算了權重（Day 13）
7. 產出了一份可執行的修正方案（Day 14）

如果要我用一句話總結第二部：

我花了兩週訓練一個模型，最大的收穫是搞清楚了這個模型不該做什麼。

明天進入第三部。模型只是零件，接下來要講的是把它裝進真實工作流程的那些架構決策——而那一部分，才是這個系統真正的價值所在。

🛡️ Instagram： @aid3fend — AI 資安實戰紀錄，歡迎追蹤交流。