從 Day 1 到 Day 6，我們一步步打造了本地 LLM 的基礎環境。這一週的核心目標是：

✅ 讓模型能在自己的電腦上跑起來，並具備 API 呼叫能力。

經過六天的努力，我們已經完成：

1. 安裝 Docker 與 Portainer（容器管理基礎）
2. 安裝並配置 Ollama（本地 LLM Server）
3. 測試並運行不同模型（LLaMA 3 / Gemma 3 4B）
4. 進行效能與 VRAM 監控

🛠️ 本週實作回顧

Day 1：環境與挑戰規劃

• 制定 30 天藍圖
• 確定主環境：Ubuntu 22.04
• 安裝基礎工具（curl / git / htop）

Day 2：安裝 Docker + Portainer

• 完成 Docker 與 Docker Compose 安裝

Day 3：安裝 Ollama

• 一鍵安裝 Ollama
• 使用 llama2 測試推理
• 驗證 API /api/generate 正常運作

Day 4：Gemma 3 4B 模型實戰

• 透過 ollama pull gemma3:4b 拉取模型
• 成功啟動推理，測試知識問答、程式碼、詩歌
• VRAM 需求約 6GB

Day 5：模型大比拼

• 測試 LLaMA 3 / Gemma 3 4B
• 比較中文表現、程式碼生成、創意寫作
• 建立對照表，協助選擇適合場景

Day 6：效能監控

• 使用 nvidia-smi / htop / nvtop 監控效能
• 實測 VRAM 使用量：
  • LLaMA 3 (7B) ≈ 5.7GB
  • Gemma 3 4B ≈ 3.9GB
• 初步掌握本地 GPU 的限制與優化方向

📊 本週成果展示

1. 系統架構圖

[ 使用者 ]
     ⇔
[ Ollama CLI / API ]
     ⇔
[ LLM 模型 (LLaMA / Gemma / Gemini) ]

重點成果：

• 已能透過 CLI / API 與模型互動
• 模型可自由切換
• 已知資源消耗情況，能合理規劃硬體

2. 模型表現對比

3. 實用小技巧清單

• 快速查看 GPU 狀態

  nvidia-smi
  
  watch -n 0.5 "nvidia-smi --query-gpu=memory.used,memory.total --format=csv,noheader,nounits"
  

• 即時監控 CPU / RAM

  htop
  
  

• 容器管理神器：Portainer

  → 直接在瀏覽器操作容器，超直觀,方便GUI管理

• 節省 VRAM

  • 使用 量化模型（如 Q4）