2026 年開放權重模型爆發,地端部署已成為企業導入 AI 時兼顧資料主權與成本的實際選項。本系列以 NVIDIA DGX Spark(GB10,128GB 統一記憶體)為主角,搭配 Mac Air M5、QNAP NAS NFS 集中模型庫與 10GbE 網路、其他場域的 100GbE 網路,完整記錄一套可複製的地端 AI 基礎架構。內容涵蓋硬體開箱與網路規劃、llama.cpp、vLLM 等不同推論引擎選型實測、主流開放權重模型的部署與量化策略、ComfyUI 影像與影片生成工作流,以及地端與雲端方案的成本效益分析。三十天後,讀者將能評估並親手建置屬於自己或公司的地端 AI 環境。
這張綜合評測表的意義 過去四天,同一顆 gpt-oss-120b 在同一台 DGX Spark 上被三個引擎輪流跑過一遍:llama.cpp(Day 8)、v...
從昨天那 19% 說起 Day 11 的同場加映,是提到近期一直很熱門的 Ollama 這款地端 AI 推論引擎平台,當時給了大家一個問題,兩款都叫 MXFP...
Perplexity 把整套 Agent 搬上 DGX Spark:地端元年的官方背書 一則讓本系列文章瞬間很有感的新聞 寫到第十三天,發生了一件讓我對著螢幕...
觀察後訓練模型並加碼實測新星 昨天處理 Perplexity 最新推的 Portable Computer 時有提到了二個小問題。第一,它的本地模型用的是注意...
兌現 Day 9 的支票 Day 9 寫 vLLM 那天,Ornith 1.5 這個模型剛出爐,我在時事插播裡開了一張「完整實測排進第三週」的支票,今天來實現...
為什麼不能只看排行榜? 過去一週測了四款地端 AI 模型,每一款在某個排行榜上都當過第一。如果排行榜能回答「我該用哪款模型?」,這個系列可以少寫十天。它不能,...
從通則到特例 昨天講選型方法論,五個問題幫你在眾多模型裡挑一個。今天講一個把整套邏輯推到極端的特例,如果你已經知道自己要的就是那一款模型,接下來的問題就變成,...
第三週的摘要 盤點一下這台機器現在的住戶。引擎有三家常設(llama.cpp、vLLM、ds4),模型庫裡目前有 gpt-oss-120b、Qwen3.8-2...
agent三部曲開跑 最近做 AI Agent 的任務後,回來看自己這台機器,感受特別具體,agent 不是聊天,它是一個會自己決定下一步、會呼叫工具、會把整...
為什麼是 DeepSeek Harness ? 8 月 13 日 DeepSeek 在釋出 V4 Pro 的同一天,順手把自家的 agent harness...