LoRA-客製化屬於你的AI

昨天介紹的Google Gemma 3B 1T 模型雖然擁有卓越的通用能力，但它並沒有針對我們的台灣旅遊資訊進行訓練。直接使用它來回答特定問題，可能會得到不夠精準的答案。

因此，微調（Fine-Tuning）就顯得至關重要。微調能讓模型學習我們專屬的知識和語氣，從而提供更專業的回答，LoRA (Low-Rank Adaptation)就是微調的其中一個技術，它會在模型的每一層中注入一對小的、可訓練的權重矩陣。在訓練時，我們只更新這些額外的小矩陣，而 Gemma 原始的巨大參數則保持不動。

LoRA的優勢

• 極致的輕巧：LoRA 微調的參數數量遠小於原始模型，通常只佔總參數的不到 1%，使得訓練速度大幅提升，也減少了所需的顯示卡記憶體，讓你在一般的消費級硬體上也能對 Gemma 模型進行微調。

• 節省儲存空間：我們只需儲存微調後的小矩陣，而不是整個模型。這些小矩陣通常只有幾十到幾百 MB，方便分享與部署。

在peft函式庫中，我們可以透過LoraConfig來精確控制微調的行為。其中核心參數包括：

• r（秩）
• lora_alpha（縮放因子）
• target_modules
  透過這些參數，我們可以精準地客製化 Gemma 模型的訓練，用最少的成本達到最佳的微調效果。
  讓模型，真正學會我們的專屬知識，成為一個專業的台灣旅遊 AI 助理。