生成式 AI 正在改變世界,但市面上大多數服務(如 ChatGPT、Claude、Gemini)都依賴雲端:
問題 1:成本
長時間使用雲端 LLM 成本非常高,尤其是需要 API 的開發者。
問題 2:隱私
如果要處理公司機密或個人敏感資訊,把資料傳到雲端始終有風險。
問題 3:可控性
雲端模型不可控,我們無法自由調整系統 Prompt、客製化資料庫,甚至無法完全掌握更新。
這也是為什麼 「本地化部署 LLM」 正在成為一個熱門話題。
透過 Ollama + Web UI,我們可以:
因此,我決定展開這個 30 天鐵人挑戰,目標是從 0 到 1 打造一個 完整的本地 AI 助手生態系統。
分成五大階段:
這次挑戰的主要環境是 Ubuntu 22.04 LTS。
為什麼選 Ubuntu?
(💡 如果你是 Windows 使用者,可以考慮 WSL,但效能會稍微差一些)
大語言模型吃硬體,這裡列出基本需求: