經過前面七天的準備，我的專案已經擁有了強大的檢索能力，能夠從龐大的旅遊知識庫中，快速且精準地找到最相關的資訊。但要將這些資訊轉化為流暢、自然且符合需求的對話，我們還需要一個核心角色-大型語言模型（LLM）。

一、Gemma 3B IT介紹

Gemma是由Google開發並發布的一個輕量級、最先進的開放模型系列。這些模型繼承了與 Google 內部 Gemini 模型相同的研究和技術，但以更小、更易於使用的版本形式提供。

在我的專案中，我選擇的是 Gemma 3B IT。

• 3B：擁有30億個參數，擁有較小的體積，適合在個人電腦或單一 GPU 上運行。

• IT：Instruction Tuned，指經過特別的指令微調。與一般的基礎模型不同，Gemma 3B IT 專門被訓練來理解和執行人類的指令。載入與準備模型

二、載入與準備模型

要載入這個模型需要使用 Hugging Face transformers 函式庫。
載入模型主要分為兩個步驟：載入分詞器和載入模型本身。

• 載入分詞器：分詞器負責將人類的語言轉換成模型能夠理解的數字序列。

• 載入模型：使用 AutoModelForCausalLM來載入 Gemma 3B IT的核心模型。

在載入時，我們會注意兩個重要的參數設定：

*　torch_dtype：用來指定模型的資料型別。

• .to(DEVICE)：將整個模型移動到指定的運算裝置上，確保模型的所有運算都能利用 GPU 的強大運算能力，顯著加快處理速度。

三、結語

明天，我將把RAG流程的兩大核心-檢索與生成串聯起來，讓我們的AI顧問能夠根據檢索到的資訊，給出專業且精準的回答，謝謝各位今天的觀看。