操作後發現 OpenAI API 需要付費 credits,直接改用 Ollama 的免費模型,讓它直接在本機執行。
下載 Ollama 後在 Terminal 執行:
ollama pull qwen3:4b
qwen3:4b 模型中的 4b 可以理解為模型規模約 4 billion parameters。4B 模型的規模比較小,因此更適合拿來進行本機測試。
下載完成後,先測試 Ollama 模型是否能正常運作,可以直接就像和 AI 進行對話,如果模型能夠正常回應,就代表 Ollama、模型以及本機執行環境已經設定完成。
接下來讓 AgentDojo 與 Ollama 模型建立連線,先啟動 Ollama 的服務:
ollama serve
啟動之後,Ollama 會在本機開啟服務,讓其他程式可以透過 HTTP API 與模型進行溝通。接著使用以下指令確認 Ollama 的 API 是否正常運作:
curl.exe http://localhost:11434/v1/models
如果可以正常取得模型資訊,並看到類似:
qwen3:4b
表示目前本機的 Ollama API 已經能夠被查詢,而且 qwen3:4b 模型已經存在。
這一步可以視為 AgentDojo 與 Ollama 之間建立連接前的重要確認。之前使用 OpenAI API 時,AgentDojo 是透過網路連接 OpenAI 的模型服務;這次則改成連接自己電腦上的 Ollama,因此整個架構有所不同。
為了讓 AgentDojo 知道 Ollama API 所使用的連接埠,需要設定環境變數:
$env:LOCAL_LLM_PORT="11434"
11434 是 Ollama 預設使用的本機服務 Port。設定完成後 AgentDojo 就透過 Port 找到本機的 Ollama 服務。
最後,開始進行真正的 Workspace 模擬:
python -X utf8 -m agentdojo.scripts.benchmark -s workspace --model LOCAL --model-id qwen3:4b -ut user_task_0
--model LOCAL 表示這次不是使用 OpenAI 等雲端模型,而是使用本機的 Local LLM。--model-id qwen3:4b 指定實際使用的模型,也就是先前透過 Ollama 下載的 Qwen3 4B。-s workspace 則代表使用 AgentDojo 的 Workspace Scenario。-ut user_task_0 指定要執行的使用者任務。python -X utf8,則是指定 Python 使用 UTF-8 編碼模式,有助於避免在 Windows 環境中處理中文或其他非 ASCII 字元時出現編碼問題。
整個流程可以整理成:
Ollama → 下載 Qwen3 4B → 測試模型 → 啟動 Ollama Server → 確認 localhost API → 設定 LOCAL_LLM_PORT → AgentDojo 連接 Local LLM → 執行 Workspace。
這次解決了前面遇到的 API credits 問題,目前的學習與 AgentDojo 實驗而言, Ollama 的 API 就已足夠使用,能完成基本的 Agent 與 Workspace 測試。