iT邦幫忙

鐵人檔案

2026 iThome 鐵人賽
回列表
AI Engineering

128GB 統一記憶體的三十天:DGX Spark 地端 LLM 與生成式 AI 部署實戰 系列

2026年開放權重模型爆發,地端部署成為企業兼顧資料主權與成本的實際選項。本系列以兩台NVIDIA DGX Spark(128GB統一記憶體)為主角,搭配100GbE直連、10GbE骨幹與QNAP NAS集中模型庫,實測記錄可複製的地端AI架構。內容涵蓋llama.cpp、vLLM等五個推論引擎的對齊比較,六款開放模型與量化階梯的繁中品質驗證,agent框架、DeepSeek Harness與多代理指揮的實戰,QLoRA微調到量化上線的完整迴圈,ComfyUI與MiniMax-H3影片生成,以及維運、功耗、成本與ISO 27001治理的結算,讀者將能評估並親手建置屬於自己或公司的地端AI環境。

鐵人鍊成 | 共 31 篇文章 | 27 人訂閱 訂閱系列文 RSS系列文
DAY 21

Day 21|herdr 是地端 AI 同時跑多個 AI agent 的最佳解

agent 時代的新型浪費 三部曲前兩天各讓一個 harness 開了工,今天先講一個比較少人警告過的問題。 agent 工作的節奏跟寫程式完全不同,你交代一...

2026-09-03 ‧ 由 ivanusto 分享
DAY 22

Day 22|語意錨點對上 prefix cache,FreeToken VS vLLM,以及三個關於統一記憶體的教訓

今天原本要做的,和實際做的有差喔 昨天預告的是一場對決,vLLM 的 prefix cache 對上 FreeToken 的語意錨點快取,用三天累積的真實 a...

2026-09-04 ‧ 由 ivanusto 分享
DAY 23

Day 23|ComfyUI 部署與 NFS 模型庫整合:把集中管理的哲學帶進生圖世界

作圖做影片好用的地端 AI 首選 - ComfyUI 連續七天的引擎與 agent 硬仗打完了,本週進生成媒體週。節奏會輕一點,但方法論不變,今天要做的事跟...

2026-09-05 ‧ 由 ivanusto 分享
DAY 24

Day 24|MiniMax-H3 地端影片生成:h3-ui 與四步蒸餾版的三段對決

影片生成是地端最貴的工作 生圖一張幾秒到幾十秒,影片一段動輒幾分鐘到十幾分鐘,而且每改一次提示詞就要重來。雲端服務的計價方式在這影片生成領域的費用最高,地端...

2026-09-06 ‧ 由 ivanusto 分享
DAY 25

Day 25|Unsloth 微調實戰:教一款模型用繁體中文思考,並遵守台灣的編輯規範

先講清楚什麼是微調 ? 應用地端 AI 領域中,一款開放權重模型出廠時,已經用大量語言資料訓練過,它會的東西叫「預訓練知識」。「微調」則是在這個基礎上,用一小...

2026-09-07 ‧ 由 ivanusto 分享
DAY 26

Day 26|微調的最後一哩路:合併、轉檔、量化、上線

訓練好的模型不一定能用 昨天訓練出一個 adapter,304 MiB,掛在 4-bit 底模上用 Unsloth 推論是成功的,但它的那個狀態離掛進閘道給大...

2026-09-08 ‧ 由 ivanusto 分享
DAY 27

Day 27|雙 DGX Spark GB10 合體與分工合作的部署與實測

先接上昨天的結尾 昨天最後一句是「而我剛好有第二台」。Day 3 畫拓撲圖的時候,那條 QSFP28 直連線旁邊寫著「已鋪好路等通車」,當時第二台 Spark...

2026-09-09 ‧ 由 ivanusto 分享
DAY 28

Day 28|NVIDIA DGX Spark GB10 維運篇

為什麼維運篇要放在倒數第三天 因為前面 27 天的素材已經夠了。這台機器在系列期間整台停擺兩次(一次斷電、一次只剩 ping 有回應),差點停擺一次(MemA...

2026-09-10 ‧ 由 ivanusto 分享
DAY 29

Day 29|成本與治理:地端 AI 到底值不值得,是否能進客戶環境?

老闆和資安會問的兩張表 28 天的資料,最後要回答兩個問題。第一個是老闆會問的,花這些錢,換到什麼,比雲端划算嗎。第二個是資安或稽核會問的,這套東西放進企業環...

2026-09-11 ‧ 由 ivanusto 分享
DAY 30

Day 30|三十天製作了一張可複製的地端 AI 藍圖

從一台開箱的 GB10 機器開始 8 月 14 日 Day 1 寫下「2026 年是地端 AI 部署元年」的時候,也順便提供了 AI 相關名詞的懶人包,當天重...

2026-09-12 ‧ 由 ivanusto 分享