執行 Gemma

執行 Gemma 模型有多種方式，從在個人電腦上本地運行，到使用雲端服務，再到透過各種簡化的工具，您可以根據自己的技術背景、硬體資源和使用目的來選擇最適合的方案。

以下是使用各種 AI 執行各種架構執行 Gemma 模型方式：

• Ollama
• Hugging Face Transformers
• 適用於 JAX 的 Gemma 程式庫
• Keras
• PyTorch
• MediaPipe LLM Inference API
• Hugging Face Transformers
• Gemma.cpp
• vLLM
• Google Cloud Vertex AI
• Google Cloud Kubernetes Engine (GKE)
• Google Cloud Run

在本機電腦上執行 (使用 Ollama) - 最簡單，推薦初學者

Ollama 是一個輕量級的工具，可以讓您用一行指令就在個人電腦（Windows, macOS, Linux）上輕鬆下載並執行包括 Gemma 在內的各種大型語言模型。

優點：

- 安裝和操作極其簡單。

- 自動管理模型下載和設定。

- 適合快速體驗、聊天或在本機進行簡單開發。

硬體要求：

建議至少 8GB RAM，若要跑 7B 模型建議 16GB RAM 以上。

若有 NVIDIA 或 Apple Silicon (M1/M2/M3) 的 GPU，效能會好很多。