2026 年開放權重模型爆發,地端部署已成為企業導入 AI 時兼顧資料主權與成本的實際選項。本系列以 NVIDIA DGX Spark(GB10,128GB 統一記憶體)為主角,搭配 Mac Air M5、QNAP NAS NFS 集中模型庫與 10GbE 網路、其他場域的 100GbE 網路,完整記錄一套可複製的地端 AI 基礎架構。內容涵蓋硬體開箱與網路規劃、llama.cpp、vLLM 等不同推論引擎選型實測、主流開放權重模型的部署與量化策略、ComfyUI 影像與影片生成工作流,以及地端與雲端方案的成本效益分析。三十天後,讀者將能評估並親手建置屬於自己或公司的地端 AI 環境。
前言:我們歷經了硬體堪用到軟體搭配終於逐漸成熟的階段 兩年前,如果有人說要在自己家裡或公司機房跑一個能實際工作的大型語言模型,其實滿多人的第一反應是「跑得動嗎」...
一個剛好發生的完美範例 寫這篇文章的前一天,Alibaba 的 Qwen 團隊把 Qwen3.8-27B 的權重放上了 Hugging Face。這是一款 27...
模型放哪裡,是小問題也是架構問題 昨天我們用 Qwen3.8-27B 簡單做了一個記憶體的比較,和實務上為何要那麼多 VRAM 或統一記憶體來協助地端 AI 運...