從零微調一個資安語言模型,並把它接進 MSSP 的四個真實工作流程:事件報告、報告問答、監控月報、新人訓練。
三十天完整記錄從資料分流、Primus 三階段訓練、Agent 架構到治理設計的全過程,包含一次令人失望的評測結果,以及它如何逼我重新理解「微調到底該解什麼問題」。
這不是一個成功案例的整理,是一份含失敗與修正的實作地圖。結論是:模型可換,治理不變。
蒸餾在做什麼 三階段的最後一段。前面兩段模型學會了資安的語言(CPT)與做事的格式(SFT),現在要學的是怎麼想。 推理蒸餾的基本流程: 1. 準備問題集 2....
成績單 三階段跑完,照 Day 7 的表格跑完整評測。結果是: 微幅提升。而且幅度小到我無法宣稱它是有意義的。 階段 CyberMetric SecQA...
把昨天的三個假設攤開來算 昨天列了三個可能原因。今天要做的是把它們的相對權重估出來,因為修正方案取決於哪個是主因。 我的判斷是: 原因 權重 可修正性...
第二部的收束 過去六天從環境建置一路做到失敗檢討。今天要把結論轉成一份可執行的修正方案,然後進入第三部的 Agent 落地。 修正分三塊:重新分流資料、重建評測...
第三部開始 前十四天做的事,用一句話說是:造了一個零件。 從今天開始的九天,講的是把這個零件裝進機器裡。而我要先說清楚一件事:這台機器的價值,遠大於那個零件。...
本文所有資料皆為合成資料。主機名、IP、公司名、時間、事件經過全部虛構;CVE 編號使用真實公開漏洞,但受影響資產為虛構。 問題:原始 case 長什麼樣...
完整流程 昨天做好了 Data Pack。今天走完剩下的路: Data Pack → CVE/情報比對 → 脈絡組裝 → 生成初稿 → 送審 第一步:比對與擴...
本文所有資料皆為合成資料。 這個任務的特殊之處 事件報告的輸入是結構化的機器資料。顧問問答的輸入是人隨手打的一句話,而且問題的類型天差地別: 「這個告警是什...
Day 2 提過,顧問問答有一個很漂亮的特性:每一次顧問審核過的回答,都是下一次的資料。 今天把這個迴圈完整拆開,並且講清楚它為什麼比它看起來的更難。 飛輪的四...
本文所有資料皆為合成資料。 一個框架轉換 月報原本是我認為最難的任務。 理由看起來很充分:它要統計一整個月的資料、要看出趨勢、要跟過去比較、要給有洞察的建議...