這幾天接連講了一些跟 LLM 有關的概念，最後一天，要來介紹如何使用 Ollama 在本機端離線使用大型語言模型，並且會介紹一個使用 LLM 的介面：Open WebUI。

除了在本機端使用大型語言模型以外，我們還可以使用 unsloth ，根據我們的需求來微調這些模型。

以下就來談談 Ollama、Open WebUI 以及 Unsloth～～

Ollama 介紹

⭐️ 大型語言模型平台

• 開源完全免費
• 離線運作，保護隱私
• 在本機端運行LLM
• 可自行選擇下載、使用語言模型
  • llama (Meta開發)
  • gemma3 (Google開發)
  • phi4 (Microsoft開發)
  • deepseek-r1
  • qwen3 (阿里巴巴開發)
  • ...

Ollama 安裝+使用

在終端機（Terminal）跟 Open WebUI 內皆可使用

安裝

• 官網 download
  • 下載後打開按到Finish就可以了

終端機

• 查看Ollama的狀態、可以執行的功能指令

ollama

• 查詢目前有的模型

ollama list

• 下載+執行模型，開始進行對話（以gemma3為例）；如果想要下載使用其他模型，在run後面放上模型名稱即可）

ollama run gemma3

• 結束對話

/bye

Open WebUI

• Open WebUI 是一個使用者操作介面
• Ollama 可以在終端機操作，但是 Open WebUI 的介面比較方便使用
• Ollama 像是後端，而 WebUI 像是前端
• 在 Docker 的環境中運行（須先下載 Docker，可參考 Docker 官方網站）
• 從 Open WebUI 的網站複製指令，在終端機貼上（需要一點時間⌛️）

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

• 打開 Docker 就可以看到 Open WebUI，並點選Port的3000:8080，就可以在本機打開

Open WebUI 使用

登入

• 打開之後會需要登入，這邊的登入資訊只會記錄在本機端
• 第一個登入的為管理員，可以控管其他使用者

WebUI 🤝🏻 Ollama

從Ollama ++pull++ 模型進來Open WebUI使用

• 管理員控制台>設定>模型>管理模型
• 將想要的模型名稱貼上即可下載

網頁搜尋

• 管理員控制台>設定>網頁搜尋
• 以Google Search為例，需要取得搜尋引擎ID&API Key

Unsloth微調模型 －（Fine-tuning）

• unsloth可以讓微調模型的速度更快，並減少記憶體的使用量
• 可以直接在Colab（用T4 GPU）或是Kaggle上進行操作，不需要額外的硬體設備
• unsloth簡化了整個訓練工作流程，包括模型加載、量化、訓練、評估、運行、保存、輸出以及與 Ollama、llama.cpp 和 vLLM 等引擎的整合
  1. 更新知識：引入新的特定領域資訊
  2. 自訂行為：調整模型的語氣、個性或反應風格
  3. 針對任務進行最佳化：提高特定任務的準確度和關聯性
• unsloth利用 LoRA 或是 QLoRA 來進行微調
• unsloth提供免費的Colab Notebook，可以自己調整參數，不過 unsloth 有提供 LLM 開發公司建議的參數值
• 基本上會需要新的資料集來進行訓練，資料集的會需要是特定格式，例如 JSON

小結

簡單總結一下這次介紹的三個工具：

• Ollama：讓你在自己的電腦上就能玩大型語言模型，隱私滿分，還能自由挑選喜歡的模型
• Open WebUI：操作介面更直覺，把 Ollama 當後端、WebUI 當前端，模型管理變得簡單又好上手
• Unsloth：Unsloth 幫你快速微調模型，而且可以直接在 Colab 或 Kaggle 上跑，不用買高級設備

從下載、使用到微調，這三個工具組合起來，就可以輕鬆使用 LLM！

這 30 天「AI、機器學習以及深度學習的語言學應用」的發文就告一個段落了，複習了很多主題，也釐清了之前不是很懂的概念，收穫滿滿，希望閱覽的各位也都有所收穫，這邊下台一鞠躬🙇🏻‍♀️