📌 背景

到目前為止，我們已經完成了：

• Day 1：規劃整體挑戰藍圖
• Day 2：安裝 Docker 與 Portainer

接下來，真正的主角要登場了：Ollama。

🔎 為什麼選 Ollama？

市面上有很多本地 LLM 的選擇，例如：

• Hugging Face Transformers + PyTorch (需要手動管理模型)
• LM Studio (桌面應用程式，適合個人使用)
• vLLM / Text Generation WebUI (功能強大，但部署較複雜)

而 Ollama 的定位是：

• 輕量化的 本地模型管理器
• 支援多種 LLM（LLaMA、Mistral、Gemma、Phi、CodeLlama...）
• 內建 HTTP API，方便與應用程式串接
• 跨平台支援（macOS / Linux / Windows WSL2）

換句話說，Ollama 就像是 「Docker for LLM」 —— 你只要拉取映像檔（模型），就能立即啟動。

🛠️ 安裝 Ollama

Step 1：下載安裝

在 Ubuntu 上只需要一行指令：

curl -fsSL https://ollama.com/install.sh | sh

安裝過程中會：

• 自動下載二進位檔
• 設定系統服務
• 啟動 Ollama daemon

安裝完成後，執行：

ollama --version

若出現版本號（例如 ollama version 0.1.34），代表安裝成功。

Step 2：測試運行

Ollama 改為對外直出（不在容器）

Ollama 預設只綁 127.0.0.1，要改綁全介面

用 systemd 服務，永久化設定

為服務覆寫環境參數

sudo systemctl edit ollama

貼入：

[Service]
Environment="OLLAMA_HOST=0.0.0.0:11434"

儲存後：

sudo systemctl daemon-reload
sudo systemctl restart ollama
sudo systemctl status ollama

Ollama 下載一個小模型 llama3，可以直接執行：

ollama run llama3

輸入問題：

> 你好，請用一句話介紹你自己

模型會回覆：

Hello! 🤗 I'm LLaMA, a large language model trained by AI to understand 
and respond to human input in a helpful and engaging way, with the goal of 
assisting and communicating effectively. 😊

這代表 Ollama 已經能正常工作。

Step 3：測試 API

Ollama 的強大之處在於提供 REST API，這讓我們能在後續用 Python、Web UI、Discord Bot 串接。

測試 API：

curl http://localhost:11434/api/generate -d '{
  "model": "llama3",
  "prompt": "請用繁體中文解釋 AI 是什麼？"
}'

這意味著：

• Ollama 就是一個 本地 LLM Server
• 我們可以把它當成 ChatGPT API 的替代品

Step 4：進階管理

Ollama 的一些常用指令：

• 查看已安裝模型：

  ollama list
  

• 移除模型：

  ollama rm <模型名稱>
  

• 停止服務：

  sudo systemctl stop ollama
  

• 啟動服務：

  sudo systemctl start ollama