🔹 前言

在 Day32 - 進階篇：Mac M3 本機 LoRA 微調 Qwen2.5 （30 分鐘，準確率 92%） 我完成了 LoRA 微調流程，最終用 Qwen2.5-1.5B 加上規則後處理達到微調模型 92% 的相似度。

然而實際上，這條路並不平坦...
在成功之前，我失敗了整整 N 次，花了 2 天時間。

如果你也是初學者正在學習 LoRA SFT，這些經驗可能可以讓你省下些時間。
這篇記錄完整的試錯過程，包含：

• 5 次微調失敗的完整經過（其他 N 次是小幅調整同個參數，不計入紀錄）
• 每次失敗的 Root Cause 分析
• 解決方法與關鍵教訓
• 實用的 Troubleshooting 經驗
• 第一次成功之後的改善準確性與相似度的過程紀錄

💡 術語說明：
本文使用「微調（Fine-tuning）」指在預訓練模型基礎上進行 LoRA 調整。
部分段落為了語感順暢，可能會混用「訓練」一詞（如「重新訓練」「訓練參數」），
但實際上指的都是「微調」流程，並非從零開始訓練模型。

🔹 術語解釋

再往下看之前，這個小節可以幫助非 ML 工程師（特別是有 DevOps 領域背景的）快速理解 LLM 微調概念，方便讀者速查以及工作上與 ML 工程師同事溝通。

💡 概念類比聚焦在「解決問題的思維方式」，只是工程術語對照，如需精確定義，請參考學術文獻。

術語定義

核心概念

[註1]
1e-5 是科學記號，意思是 0.00001，常用來表示非常小的數值。如果學習率設定為 1e-5，代表每次更新參數時，只會往梯度方向調整 0.00001 倍 的幅度，讓訓練過程更加穩定。

訓練流程

風險與防護

參數調整策略

生成參數

評估指標

除錯與監控

🔹 微調失敗全景圖

仔細解析每一次的失敗，會發現其實都是 泛化能力（Generalization Ability） 的問題。

泛化能力是指模型「舉一反三」的能力：不只會回答訓練過的問題，還能正確處理相似但沒見過的新問題。

就像學生學數學：

• ❌ 泛化能力差：只會做練習題的原題，換個數字就不會
• ✅ 泛化能力好：理解解題方法，遇到新題型也能應對

LoRA 微調的核心挑戰：在有限的訓練資料（300-400 筆）下，讓模型學會「規則」而非「背答案」。

圖：LoRA 微調泛化能力進化曲線 - 8 次微調從失敗到成功的完整歷程

泛化能力的四種失敗模式

經典案例：第四次訓練

• Epoch 20：泛化能力最佳（Eval Loss 10.25）
• Epoch 200：泛化能力崩潰（Eval Loss 35.20）
• 教訓：Early Stopping 要看「實際改善幅度」，而非「只要有改善就繼續」

三大教訓

• 資料量 ≠ 成功保證 - 第 5 次 300 筆災難性遺忘，第 n+2次 393 筆成功（關鍵是參數配置）
• 訓練時間 ≠ 越久越好 - 第 4 次 Epoch 20 最佳，200 崩潰
• 模型選擇很重要 - mT5/mBART 中文有限，BLOOM 易遺忘，Qwen2.5 終於成功

🎯 成功要素

第 n+2 次成功的關鍵：

1. ✅ 選對模型（Qwen2.5-1.5B 中文專精）
2. ✅ 資料量適中（393筆）+ 多樣性足夠
3. ✅ 參數平衡（LR 2e-4 + Epochs 4 + Warmup 30）
4. ✅ 實測驗證（不只看 Loss，要看實際輸出品質）

🔹 微調之路：如何紀錄實驗過程

故事要從 10/20 說起，那是個大雨滂沱的下午。

我的 AI 助理問我要不要把 Day32 用概念帶過就好，反正讀文章的人也不多。我很自信地回他說：

「如果沒用實驗就草草帶過這篇，我就不是我了。」

當時的我懵懂無知，尚不知微調的過程對於 ML 初心者充滿著 荊棘與險阻，就這樣快樂地踏上了硬斗的本機微調之路...

❌ 第 0 次微調: 下載模型失敗！AWS 2025-10-20 全球 Outage 導致沒法從 XetHub 的 CDN 下載模型🚨

解法: 手動到 Hugging-face 網頁 下載或是寫腳本用 curl 直接戳 Hugging-face 的 repo 下載

❌ 第 1 次微調:模型只會複述

模型: mT5 base
症狀: <extra_id_0> 請假規定有哪些?
原因: 訓練資料太少 (33 筆)
泛化能力診斷: ❌ 欠擬合 - 資料太少，模型只學會複述問題，完全沒學會回答
解法: 增加到 85 筆，提供多樣性的問法，提高模型泛化能力

❌ 第 2 次微調:無限重複崩潰

模型: mT5 base
症狀: 依據公司規範:依據公司規範:依據公司規範:...
原因: 學習率太高 (5e-4) + 缺少推理防護（Inference Safeguards）[註1]
泛化能力診斷: ❌ 過擬合+崩潰 - 記住格式但不懂語意，遇到新問題就無限迴圈
解法: 調整後還是沒用！！我要出發去找對中文更友善的模型！Meta mBART 就是你了！！

[註1] 指在模型生成答案時，加入的防止輸出崩潰的機制，避免模型產生無限重複、亂碼、或失控的輸出。

# test_lora_XXX_model.py
output = model.generate(
    input_ids,
    # === 長度控制 ===
    max_new_tokens=100,              # 限制最多生成 100 個 token，防止無限生成
    # === 重複防護 ===
    repetition_penalty=1.3,          # 對已出現的 token 降低 30% 機率，防止「依據公司規範:依據公司規範:...」
    no_repeat_ngram_size=3,          # 禁止連續 3 個詞完全相同，例如禁止重複「依據 公司 規範」
    # === 停止條件 ===
    early_stopping=True,             # 遇到 EOS token (結束符號) 立刻停止，不繼續亂生成
    # === 生成策略 ===
    do_sample=False,                 # 不使用隨機採樣，採用 greedy decoding (永遠選機率最高的 token)
    num_beams=1,                     # 不使用 beam search，單路徑生成 (速度快，適合測試)
)

微調時，如果參數調整的太激進，或是沒有給限制的話，會出現這種模型崩潰的結果😂

❯ python scripts/test_lora.py --local
📦 載入模型...
   Base: models/mt5-small (本機)
✅ 模型載入完成

============================================================

📝 [KB 內 (完整問法)]
❓: 請問:假勤規範：員工請假需於系統提前填寫申請的規定是什麼?
🤖: <extra_id_0>規範:公司規範:員工請假需來源:公司規範:依據規範:員工請假需來源:公司規範:員工請假需來源:公司規範:員工請假需來源:公司規範:員工請假需來源:公司規範:員工請假需來源:公司規範:員工請假需來源:公司規範:員工請假需來源:公司規範:員工請假需來源:公司規範:內部規範:內部規範:內部規範:內部規範:內部規範:內部規範:內部規範:內部規範:內部規範:內部規範:內部規範:內部規範:內部規範:內部規範:內部規範:內部規範
------------------------------------------------------------

📝 [KB 內 (簡短問法)]
❓: 請假規定有哪些?
🤖: <extra_id_0>公司規範知識:依據規範知識。公司規範知識。公司規範知識。公司規範知識。公司規範知識。公司規範知識。公司規範知識。公司規範知識。公司規範知識。公司規範知識。公司規範知識。公司規範知識。公司規範知識。公司規範知識。公司規範知識。公司規範知識。公司規範知識。公司規範知識。公司規範知識。公司規範知識。公司規範知識。公司規範知識。公司規範知識。公司規範知識。公司規範知識。公司規範知識。公司規範知識。公司規範知識。公司規範知識。公司規範知識。公司規範知識。公司規範知識。公司規範知識。公司規範知識。公司規範知識。公司規範知識。公司規範知識。公司規範知識。公司規範
------------------------------------------------------------
...
...
...

✅ 測試完成!

❌ 第 3 次微調:回答格式怪怪，但好像有點雛形...

模型: Meta mBART
症狀: 沒有完整輸出＋拒答機制不明顯：KB 外問題沒有明確拒絕
原因: 微調輪數可能不夠 / 學習率可能偏低 / LoRA 參數可以加大
泛化能力診斷: ⚠️ 泛化能力初現但不穩定 - 開始學會回答格式；但對邊界判斷（該答/不該答）泛化能力不足
解法: 增加到 20-25 epochs / 3e-5 -> 5e-5 / 提高到 r=32

⚠️ 編按：這時候微調大概要吃掉 5GB 記憶體了，微調時間大概要十分鐘。
我真的不敢想像 ML engineer 跑模型跑好幾個小時或好幾天，結果發現出來乙陀答辯要重新微調的心碎感......

...
...
我好想找一個 ML 工程師來幫我 🫠 每次調完參數都會稍微進步一點，但是要花超多時間在微調上面 err
...

❌ 第 4 次微調，放入驗證集試圖提升模型品質:

驗證集：在微調過程中定期用「沒訓練過的測試題」檢查模型表現，並根據驗證結果調整參數或提前停止微調，避免模型只會背答案(過擬合)而失去舉一反三的能力。

模型: Meta mBART
症狀: 在對 78 筆公司規範資料進行 LoRA 微調時，儘管設定了驗證集和 Early Stopping，模型仍然在微調 2 小時後完全崩潰，產生重複文字和無意義輸出。
原因: 只要 loss 數值「有改善」就繼續微調，不管改善幅度多小，此舉導致過擬合
泛化能力診斷: ❌ 泛化能力從良好到完全崩潰 - Epoch 20 時泛化最佳，過度訓練後只會背誦訓練集，完全失去應對新問題的能力
解法: 小資料集的參數不要設置太大，以免過擬合，同時增加問法、擴增資料集多樣性。

🤔 後來微調了幾次還是不成功，來試試看社群說對小資料集友善的 BLOOM-560M 好了，再沒個結果就睡覺（？）

❌ 第 5 次微調，使用 Constant LR 避開 MPS Bug:

模型: BLOOM-560M
症狀: 在對 300 筆公司規範資料進行 LoRA 微調時，為了避開 MPS[註2] 的 warmup_ratio bug，使用了 constant learning rate (2e-4)。微調過程 loss 順利下降(5.46 → 0.83)，但測試時發現所有輸出都是亂碼和錯誤內容，平均相似度僅 10%，模型產生中英文混雜、HTML 片段等無意義文字。

[註2] Metal Performance Shaders: Apple 為 Mac (M1/M2/M3 晶片) 提供的 GPU 加速框架,讓 PyTorch 等深度學習框架能利用 Apple Silicon 的 GPU 進行運算。

原因: Learning rate 2e-4 過高 + 沒有 warmup + constant scheduler 持續狂轟，導致 災難性遺忘(Catastrophic Forgetting)。預訓練模型的基礎知識被破壞，雖然 loss 下降但只學到表面格式，內容完全錯亂。這是 loss 與實際輸出品質脫鉤的典型案例。

泛化能力診斷: ❌ 泛化能力歸零 - 災難性遺忘摧毀預訓練知識，模型失去正常生成中文的能力

解法:

• 降低 learning rate 至 5e-5 (原本的 1/4)
• 加入 warmup_steps=10 保護初期訓練
• 使用 linear scheduler 而非 constant
• 降低 max_grad_norm 至 0.5
• 增加微調輪數至 10 epochs 以補償較低的學習率

關鍵教訓:

• MPS bug 可以用 warmup_steps 代替 warmup_ratio 解決，不需要犧牲 scheduler
• Loss 下降 ≠ 模型有效，必須實測輸出品質
• 過高的 constant learning rate 會摧毀預訓練知識

🤔 又過了一天，各種調參數還是不行！文字相似度徘徊在1x%，始終突破不了2x%
我開始懷疑模型本身被訓練出來的用途才是最重要的，繁體中文的訓練集要找專門為中文訓練的模型，所以...
就是你了！！Qwen2.5-1.5B ！！

🎉 第 n 次微調：Qwen2.5-1.5B LoRA 微調里程碑！

模型: Qwen2.5-1.5B
耗時: 1 小時 debug + 30 分鐘微調
感想: M3 CPU 微調真的慢，但至少能跑！ 😅

最終結果

• ✅ 輸出格式 100% 正確：「依據公司規範:...」
• ✅ 70% 完美答案：20 筆測試中有 14 筆達到 100% 相似度
• ✅ 平均相似度 78.38% （85 筆驗證集全測過一次）
• ✅ 知識保留率優秀：所有 15 個知識點都有正確回答案例
• ✅ 低幻覺率：只有 1 例出現編造內容

仍需改進:

• 泛化能力診斷: ⚠️ 泛化能力部分達標 - 能回答大部分問題（70%），但相似主題區分能力弱
• ⚠️ 近 30% 答案混淆：相似主題容易答錯（MFA vs 密碼 vs VPN）
• ⚠️ 學習率過高：3e-4 導致知識點交叉污染
• ⚠️ 訓練不足：3 epochs 對部分知識點記憶不深
• ❌ 偶爾幻覺：出現「疫苗施打」等訓練資料中沒有的內容

下一步改善方向：

1. 增加資料多樣性以區分相似主題
2. 微調學習率和微調輪數以平衡學習速度
3. 加強拒答樣本以改善邊界判斷

💡 工程改善方法：規則後處理（不用重新微調）在 Day32 有提到，如果要改變 FT 模型的成果，就要重新微調。

❌ 第 n+1 次微調：失敗！調整微調參數反而退步

模型: Qwen2.5-1.5B
耗時：57 分鐘微調
結果：反而退步，錯誤的參數組合會讓好資料變毒藥。
泛化能力診斷: ❌ 泛化能力大幅下降 - 學習率太低+過度訓練，只會詞彙拼貼而非理解語意
解法：大規模增強訓練資料集，每個知識點增加 5-10 種問法；評估集保持不變。

✓ 生成 39 筆新樣本
📂 原始：299 筆
📊 增強後：393 筆：針對經常性答錯的題目（VPN / MFA / 密碼）、拒答樣本增加訓練集

準確率：答對題數 ÷ 評估集總題數 (相似度 ≥90% 視為答對)
平均相似度：所有答案與正確答案的平均接近程度 (0-100%)

✅ 第 n +2 次微調：成功找到最佳參數組合！

模型: Qwen2.5-1.5B
耗時：54 分鐘微調
結果：平均相似度從 78.38% → 80.04% (+1.66%)；準確率從 69.4% → 72.9% (+3.5%)
泛化能力診斷: ✅ 泛化能力尚可 - 能正確處理大部分新問法（72.9%），主題識別準確
解法：再調整參數提升不大，如果要再改善，就要針對個別錯誤設定解決方案（比方說針對持續答錯的問題客製化訓練集）。

降低 learning_rate 的效果:

✅ 成功的部分:
• 減少幻覺 (日期編造、步驟虛構大幅減少)
• 提升相似度 (答案更接近正確答案)
• 微調更穩定 (模型沒有崩潰)

⚠️ 仍需改善:
• 主題混淆問題沒有完全解決
• 檔案/雲端、登入相關仍會搞混
• 未知問題的邊界判斷不夠好

💡 這證明了：資料品質 + 參數配置 必須同時正確，單獨調整其中一個沒用。

🔹 小結

• 選對模型比調參數重要：繁體中文務必用中文友善模型
• Loss 下降 ≠ 模型有效：必須實際測試輸出品質，災難性遺忘就是典型案例
• 小資料集要保守：學習率寧可低一點 / LoRA rank 不要設太大 / 及早 Early Stopping
• 推理防護不可少： 設定好防護參數可以避免 90% 的崩潰問題
• 資料與參數必須都調好：好資料配錯參數 = 毒藥，見 n+1 次微調慘案
• 能用 LLM Provider API 就用 💰 ，自己搞 SFT 累死

最大心得就是：

「 工欲善其事，必先利其器。不要鐵齒不用中文專精模型：）」

微調成功只是第一步，明天來聊聊如果要上生產環境，從DevOps角度該思考哪些問題。

📚 參考資料 / 延伸閱讀 （🚧 尚在整理文獻中...）

• 機器終身學習 (Life Long Learning, LL)_災難性遺忘(Catastrophic Forgetting)_李弘毅_ML2021#14 有很多數學公式
• 模型壓縮及優化 — Learning rate - 2212
• 【機器學習2021】類神經網路訓練不起來怎麼辦 (二)： 批次 (batch) 與動量 (momentum) 李鴻毅老師講的很平易近人，真的有興趣的人建議整系列聽完
• Epoch, Batch size, Iteration, Learning Rate - Ken Huang
• 訓練集、驗證集、測試集的定義與劃分 - 辛西亞．Cynthia 的技能樹 這篇文有講到 k-fold
• 什麼是過度擬合？- Amazon
• [Day 24] 機器學習 - 不能忽視的過擬合與欠擬合 - 10 程式中
• Early Stopping in Deep Learning: A Simple Guide to Prevent Overfitting - Piyush Kashyap
• 深度學習Warm up策略在幹什麼? - Tommy Huang 作者有用數學公式解釋為什麼要 warm-ups

核心論文

• Qwen Technical Report (Alibaba, 2024)

技術文檔

• Apple Metal Performance Shaders (MPS) Backend for PyTorch

學術論文

• Catastrophic Forgetting in Neural Networks (French, 1999) 災難性遺忘蠻經典的
• Catastrophic Forgetting in LLMs: A Comparative Analysis Across Language Tasks - Naimul Haque