iT邦幫忙

鐵人檔案

2026 iThome 鐵人賽
回列表
AI Engineering

128GB 統一記憶體的三十天:DGX Spark 地端 LLM 與生成式 AI 部署實戰 系列

2026年開放權重模型爆發,地端部署成為企業兼顧資料主權與成本的實際選項。本系列以兩台NVIDIA DGX Spark(128GB統一記憶體)為主角,搭配100GbE直連、10GbE骨幹與QNAP NAS集中模型庫,實測記錄可複製的地端AI架構。內容涵蓋llama.cpp、vLLM等五個推論引擎的對齊比較,六款開放模型與量化階梯的繁中品質驗證,agent框架、DeepSeek Harness與多代理指揮的實戰,QLoRA微調到量化上線的完整迴圈,ComfyUI與MiniMax-H3影片生成,以及維運、功耗、成本與ISO 27001治理的結算,讀者將能評估並親手建置屬於自己或公司的地端AI環境。

鐵人鍊成 | 共 31 篇文章 | 27 人訂閱 訂閱系列文 RSS系列文

Day 31(番外篇)|NVIDIA PAIR:合體與分工合作之外,第三種用法值不值得付 Ollama 稅

為什麼要多寫一天 Day 27 把雙機的兩種用法測試完了,雙機合體換到一個 2.44 倍的主力,分工合作時換到三款模型同時活著,切換則需要 40 分鐘。IFA...

2026-09-13 ‧ 由 ivanusto 分享