前情提要:昨天我們搞定了開發介面與開放工具選型(OpenCode / Claude Code / Cursor 等)。
本日目標:為我們的 AI 顧問挑選「大腦」。我們將優先教你如何架設免費、絕對保護隱私的地端 Ollama 引擎;如果你電腦配備不夠也別擔心,我們同時提供零成本的免費雲端 API 降級方案!
在開發像 first-policy 這種會處理使用者「真實財務金額與保單數據」的工具時,最核心的考量就是資料隱私(Privacy First)。
透過地端模型(如 Ollama):
解答是:用雲端的智慧做設計,用地端的隱私做落地。
在專案剛起步、架構尚未定型(例如現在)時,我們切換到雲端 API 來幫我們寫 Prompt 與規劃架構;等到專案寫好,進入頻繁測試與真實資料投入的階段時,我們一鍵切換回地端的 Ollama + Qwen 2.5 Coder,享受無成本且絕對隱私的推論環境。
如果你有一台具備獨立顯卡,或是 Apple Silicon (M1/M2/M3/M4, 16GB RAM 以上) 的電腦,請直接跟著以下步驟安裝:
# Windows (PowerShell) 一鍵安裝
winget install Ollama.Ollama
# macOS (Terminal) 一鍵安裝
brew install ollama
# 啟動專為程式碼優化的輕量模型 (Qwen 2.5 Coder 7B 僅需約 8GB 記憶體)
ollama run qwen2.5-coder:7b
💡 小撇步:若顯存較小,可以改載入
ollama run qwen2.5-coder:3b或ollama run qwen2.5-coder:1.5b,反應會更輕量流暢!
如果你的電腦是舊型筆電或記憶體較小(8GB 以下),執行 Ollama 感到吃力,完全不需要勉強升級硬體!我們推薦以下兩個目前開發者圈最熱門、且提供免費額度(Free Tier)的雲端 API 備案:
API Key。不論你選擇地端 Ollama 還是免費雲端 API,都可以透過 OpenCode 設定檔(在對話框輸入 /config 或修改 .opencode.json)進行一鍵切換:
{
"provider": {
"ollama": {
"api": "openai",
"options": {
"baseURL": "http://localhost:11434/v1",
"apiKey": "ollama"
}
}
},
"model": "ollama/qwen2.5-coder:7b"
}
{
"provider": {
"groq": {
"api": "openai",
"options": {
"baseURL": "https://api.groq.com/openai/v1",
"apiKey": "YOUR_GROQ_API_KEY"
}
}
},
"model": "groq/qwen-2.5-coder-32b"
}
今天我們確保了不論你的硬體設備如何,都能順利架設好免費且順暢的 AI 大腦!地端 Ollama 給你 100% 的隱私防護,免費雲端 API 則提供無負擔的流暢推論。
思考題:你最後選擇了「地端 Ollama」還是「免費雲端 API」?運行的速度還滿意嗎?
明日預告:大腦準備好了!明天(Day 8),我們將正式進入 階段 2(6-3-1 財務核心引擎開發),撰寫 first-policy Skill 的「主控台」與「子命令」架構!