iT邦幫忙

鐵人檔案

2026 iThome 鐵人賽
回列表
AI Security

《30 天從零打造資安語言模型:從微調到 Agent 落地》 系列

從零微調一個資安語言模型,並把它接進 MSSP 的四個真實工作流程:事件報告、報告問答、監控月報、新人訓練。

三十天完整記錄從資料分流、Primus 三階段訓練、Agent 架構到治理設計的全過程,包含一次令人失望的評測結果,以及它如何逼我重新理解「微調到底該解什麼問題」。

這不是一個成功案例的整理,是一份含失敗與修正的實作地圖。結論是:模型可換,治理不變。

參賽天數 22 天 | 共 22 篇文章 | 1 人訂閱 訂閱系列文 RSS系列文
DAY 11

Day 11|推理蒸餾:教師模型的輸出怎麼變成訓練資料

蒸餾在做什麼 三階段的最後一段。前面兩段模型學會了資安的語言(CPT)與做事的格式(SFT),現在要學的是怎麼想。 推理蒸餾的基本流程: 1. 準備問題集 2....

2026-09-20 ‧ 由 Fngi 分享
DAY 12

Day 12|訓練中期評測:一次誠實的失敗檢討

成績單 三階段跑完,照 Day 7 的表格跑完整評測。結果是: 微幅提升。而且幅度小到我無法宣稱它是有意義的。 階段 CyberMetric SecQA...

2026-09-21 ‧ 由 Fngi 分享
DAY 13

Day 13|微調 delta 為什麼這麼小:三個原因的權重分配

把昨天的三個假設攤開來算 昨天列了三個可能原因。今天要做的是把它們的相對權重估出來,因為修正方案取決於哪個是主因。 我的判斷是: 原因 權重 可修正性...

2026-09-22 ‧ 由 Fngi 分享
DAY 14

Day 14|修正方案:知識歸 RAG,格式與流程歸微調

第二部的收束 過去六天從環境建置一路做到失敗檢討。今天要把結論轉成一份可執行的修正方案,然後進入第三部的 Agent 落地。 修正分三塊:重新分流資料、重建評測...

2026-09-23 ‧ 由 Fngi 分享
DAY 15

Day 15|從模型到產品:Agent 架構總覽與那條共同語法

第三部開始 前十四天做的事,用一句話說是:造了一個零件。 從今天開始的九天,講的是把這個零件裝進機器裡。而我要先說清楚一件事:這台機器的價值,遠大於那個零件。...

2026-09-24 ‧ 由 Fngi 分享
DAY 16

Day 16|任務一:Incident Data Pack — 別把原始 JSON 丟給模型

本文所有資料皆為合成資料。主機名、IP、公司名、時間、事件經過全部虛構;CVE 編號使用真實公開漏洞,但受影響資產為虛構。 問題:原始 case 長什麼樣...

2026-09-25 ‧ 由 Fngi 分享
DAY 17

Day 17|任務一實作:從 Data Pack 到報告初稿

完整流程 昨天做好了 Data Pack。今天走完剩下的路: Data Pack → CVE/情報比對 → 脈絡組裝 → 生成初稿 → 送審 第一步:比對與擴...

2026-09-26 ‧ 由 Fngi 分享
DAY 18

Day 18|任務二:顧問問答的快慢兩條路徑

本文所有資料皆為合成資料。 這個任務的特殊之處 事件報告的輸入是結構化的機器資料。顧問問答的輸入是人隨手打的一句話,而且問題的類型天差地別: 「這個告警是什...

2026-09-27 ‧ 由 Fngi 分享
DAY 19

Day 19|知識飛輪:審核回存怎麼變成下一輪的資料

Day 2 提過,顧問問答有一個很漂亮的特性:每一次顧問審核過的回答,都是下一次的資料。 今天把這個迴圈完整拆開,並且講清楚它為什麼比它看起來的更難。 飛輪的四...

2026-09-28 ‧ 由 Fngi 分享
DAY 20

Day 20|任務三:月報是續寫,不是重寫

本文所有資料皆為合成資料。 一個框架轉換 月報原本是我認為最難的任務。 理由看起來很充分:它要統計一整個月的資料、要看出趨勢、要跟過去比較、要給有洞察的建議...

2026-09-29 ‧ 由 Fngi 分享