2026 年開放權重模型爆發,地端部署已成為企業導入 AI 時兼顧資料主權與成本的實際選項。本系列以 NVIDIA DGX Spark(GB10,128GB 統一記憶體)為主角,搭配 Mac Air M5、QNAP NAS NFS 集中模型庫與 10GbE 網路、其他場域的 100GbE 網路,完整記錄一套可複製的地端 AI 基礎架構。內容涵蓋硬體開箱與網路規劃、llama.cpp、vLLM 等不同推論引擎選型實測、主流開放權重模型的部署與量化策略、ComfyUI 影像與影片生成工作流,以及地端與雲端方案的成本效益分析。三十天後,讀者將能評估並親手建置屬於自己或公司的地端 AI 環境。
前言:我們歷經了硬體堪用到軟體搭配終於逐漸成熟的階段 兩年前,如果有人說要在自己家裡或公司機房跑一個能實際工作的大型語言模型,其實滿多人的第一反應是「跑得動嗎」...
一個剛好發生的完美範例 寫這篇文章的前一天,Alibaba 的 Qwen 團隊把 Qwen3.8-27B 的權重放上了 Hugging Face。這是一款 27...
模型放哪裡,是小問題也是架構問題 昨天我們用 Qwen3.8-27B 簡單做了一個記憶體的比較,和實務上為何要那麼多 VRAM 或統一記憶體來協助地端 AI 運...
](http://) 把社群推薦神機從開機到可以工作的整備 前三天把架構藍圖說明清楚以及重要基礎概念先講過一遍後,今天來進行設定的實作。一台剛開箱或重置後的 D...
倉庫已完善,模型下載與怎樣才能讓地端 AI 跑起來的實作 Day 3 規劃了集中模型庫的架構,Day 4 把每個運算節點都掛上了 /mnt/models。今天處...
同一顆模型,四種跑法 模型庫就緒之後,下一個問題是用什麼東西才能跑把地端 AI 模型跑起來呢。這個東西就叫做推論引擎,它負責把權重載入記憶體、排程運算、管理...
為什麼是它 ? gpt-oss-120b 是可當基準用的量尺 開始動手前,先回答一個你可能想問的問題:都 2026 年 8 月了,為什麼第一個要上線用的模型是舊...