最近看到一篇在分析 Google Gemma 4 的文章，有一個問題其實蠻值得思考：

如果 AI 已經可以在本地設備上運行，我們還需要一直依賴雲端 API 嗎？

目前多數小型團隊的做法很一致：
串接 API、按量付費，翻譯、摘要、生成全部走雲端。方便，但成本會隨使用量線性上升。

而 Gemma 4 這一波的關鍵在於，它已經可以在 iPhone（A17 Pro）這種消費級設備上做離線推理。這代表一件事：

部分 AI 任務，開始有「不經過雲端」的選項。

成本結構的改變

API 模式本質是持續付費（OPEX）。只要功能持續被使用，成本就不會停止。

但如果模型可以本地部署（例如 2B–9B 級別）：

• 文件摘要
• 翻譯
• 基礎內容生成

這類高頻任務，可以完全在本地處理。

對小型團隊來說，差異會變成：

持續支出 → 一次部署 + 極低邊際成本

RAG：不再是雲端專屬？

過去在做 RAG（檢索增強生成）時，幾乎預設一定要搭配雲端模型。

但在這個模型尺寸下，本地運行已經開始變得可行，代表以下場景可以重新思考：

• 內部文件檢索
• 客戶資料分析
• 敏感資訊處理（醫療、金融、法律）

這些資料不需要離開公司環境，就能完成推理。

對於有資料合規需求的系統，這會是架構上的一個明顯轉變。

實務上哪些場景已經可行？

文章中有一些實測結果，提供一個參考基準：

• 20 頁 PDF 摘要：約 40 秒（離線）
• 部落格草稿生成：可用
• 簡單程式碼審查：可提供回饋

但同時也很明確：

• 複雜推理
• 多步驟分析
• 高專業領域任務

仍然需要依賴雲端模型。

這裡比較關鍵的一個問題是：

你的產品中，有多少功能真的需要「最強模型」？

架構可能的走向：Hybrid 模式

比較合理的方向，可能不是取代，而是分工：

• 本地模型：高頻、低複雜度、敏感資料
• 雲端模型：低頻、高複雜度、高準確需求

也就是所謂的「本地 + 雲端」混合架構。

想請教大家的實務經驗

這邊拋幾個問題，看看有沒有人已經有實際落地經驗：

1. 有人已經把部分 AI 功能改成本地模型嗎？效果如何？
2. RAG 如果改用本地 LLM，品質與成本差異大嗎？
3. 在產品設計上，你們怎麼決定「什麼情境要打 API」？

原文分析在這（內容整理得蠻完整）：
https://fordige.com/blog/openclaw-rag-knowledge-base-guide