iT邦幫忙

鐵人檔案

2026 iThome 鐵人賽
回列表
AI Engineering

128GB 統一記憶體的三十天:DGX Spark 地端 LLM 與生成式 AI 部署實戰 系列

2026 年開放權重模型爆發,地端部署已成為企業導入 AI 時兼顧資料主權與成本的實際選項。本系列以 NVIDIA DGX Spark(GB10,128GB 統一記憶體)為主角,搭配 Mac Air M5、QNAP NAS NFS 集中模型庫與 10GbE 網路、其他場域的 100GbE 網路,完整記錄一套可複製的地端 AI 基礎架構。內容涵蓋硬體開箱與網路規劃、llama.cpp、vLLM 等不同推論引擎選型實測、主流開放權重模型的部署與量化策略、ComfyUI 影像與影片生成工作流,以及地端與雲端方案的成本效益分析。三十天後,讀者將能評估並親手建置屬於自己或公司的地端 AI 環境。

參賽天數 7 天 | 共 7 篇文章 | 7 人訂閱 訂閱系列文 RSS系列文
DAY 1

Day 1|為什麼 2026 年是地端 AI 部署元年:系列規劃與硬體總覽

前言:我們歷經了硬體堪用到軟體搭配終於逐漸成熟的階段 兩年前,如果有人說要在自己家裡或公司機房跑一個能實際工作的大型語言模型,其實滿多人的第一反應是「跑得動嗎」...

2026-08-14 ‧ 由 ivanusto 分享
DAY 2

Day 2|DGX Spark GB10 深度解析:128GB 統一記憶體到底解決了什麼問題

一個剛好發生的完美範例 寫這篇文章的前一天,Alibaba 的 Qwen 團隊把 Qwen3.8-27B 的權重放上了 Hugging Face。這是一款 27...

2026-08-15 ‧ 由 ivanusto 分享
DAY 3

Day 3|網路與儲存規劃:10GbE 骨幹、雙 Spark 直連與 NFS 集中模型庫

模型放哪裡,是小問題也是架構問題 昨天我們用 Qwen3.8-27B 簡單做了一個記憶體的比較,和實務上為何要那麼多 VRAM 或統一記憶體來協助地端 AI 運...

2026-08-16 ‧ 由 ivanusto 分享
DAY 4

Day 4|開箱之後 : DGX OS 初始環境建置與 CUDA、Docker 生態確認

](http://) 把社群推薦神機從開機到可以工作的整備 前三天把架構藍圖說明清楚以及重要基礎概念先講過一遍後,今天來進行設定的實作。一台剛開箱或重置後的 D...

2026-08-17 ‧ 由 ivanusto 分享
DAY 5

Day 5|NFS 模型庫實戰:下載工具、權限設計與版本管理

倉庫已完善,模型下載與怎樣才能讓地端 AI 跑起來的實作 Day 3 規劃了集中模型庫的架構,Day 4 把每個運算節點都掛上了 /mnt/models。今天處...

2026-08-18 ‧ 由 ivanusto 分享
DAY 6

Day 6|推論引擎總覽:llama.cpp、vLLM、TensorRT-LLM 、Ollama、DS4 與 Unsloth 的定位與取捨

同一顆模型,四種跑法 模型庫就緒之後,下一個問題是用什麼東西才能跑把地端 AI 模型跑起來呢。這個東西就叫做推論引擎,它負責把權重載入記憶體、排程運算、管理...

2026-08-19 ‧ 由 ivanusto 分享
DAY 7

Day 7|第一個模型上線:gpt-oss-120b 從模型庫到 API 的完整流程

為什麼是它 ? gpt-oss-120b 是可當基準用的量尺 開始動手前,先回答一個你可能想問的問題:都 2026 年 8 月了,為什麼第一個要上線用的模型是舊...

2026-08-20 ‧ 由 ivanusto 分享