2026年開放權重模型爆發,地端部署成為企業兼顧資料主權與成本的實際選項。本系列以兩台NVIDIA DGX Spark(128GB統一記憶體)為主角,搭配100GbE直連、10GbE骨幹與QNAP NAS集中模型庫,實測記錄可複製的地端AI架構。內容涵蓋llama.cpp、vLLM等五個推論引擎的對齊比較,六款開放模型與量化階梯的繁中品質驗證,agent框架、DeepSeek Harness與多代理指揮的實戰,QLoRA微調到量化上線的完整迴圈,ComfyUI與MiniMax-H3影片生成,以及維運、功耗、成本與ISO 27001治理的結算,讀者將能評估並親手建置屬於自己或公司的地端AI環境。
為什麼要多寫一天 Day 27 把雙機的兩種用法測試完了,雙機合體換到一個 2.44 倍的主力,分工合作時換到三款模型同時活著,切換則需要 40 分鐘。IFA...