2026年開放權重模型爆發,地端部署成為企業兼顧資料主權與成本的實際選項。本系列以兩台NVIDIA DGX Spark(128GB統一記憶體)為主角,搭配100GbE直連、10GbE骨幹與QNAP NAS集中模型庫,實測記錄可複製的地端AI架構。內容涵蓋llama.cpp、vLLM等五個推論引擎的對齊比較,六款開放模型與量化階梯的繁中品質驗證,agent框架、DeepSeek Harness與多代理指揮的實戰,QLoRA微調到量化上線的完整迴圈,ComfyUI與MiniMax-H3影片生成,以及維運、功耗、成本與ISO 27001治理的結算,讀者將能評估並親手建置屬於自己或公司的地端AI環境。
這張綜合評測表的意義 過去四天,同一顆 gpt-oss-120b 在同一台 DGX Spark 上被三個引擎輪流跑過一遍:llama.cpp(Day 8)、v...
從昨天那 19% 說起 Day 11 的同場加映,是提到近期一直很熱門的 Ollama 這款地端 AI 推論引擎平台,當時給了大家一個問題,兩款都叫 MXFP...
Perplexity 把整套 Agent 搬上 DGX Spark:地端元年的官方背書 一則讓本系列文章瞬間很有感的新聞 寫到第十三天,發生了一件讓我對著螢幕...
觀察後訓練模型並加碼實測新星 昨天處理 Perplexity 最新推的 Portable Computer 時有提到了二個小問題。第一,它的本地模型用的是注意...
兌現 Day 9 的支票 Day 9 寫 vLLM 那天,Ornith 1.5 這個模型剛出爐,我在時事插播裡開了一張「完整實測排進第三週」的支票,今天來實現...
為什麼不能只看排行榜? 過去一週測了四款地端 AI 模型,每一款在某個排行榜上都當過第一。如果排行榜能回答「我該用哪款模型?」,這個系列可以少寫十天。它不能,...
從通則到特例 昨天講選型方法論,五個問題幫你在眾多模型裡挑一個。今天講一個把整套邏輯推到極端的特例,如果你已經知道自己要的就是那一款模型,接下來的問題就變成,...
第三週的摘要 盤點一下這台機器現在的住戶。引擎有三家常設(llama.cpp、vLLM、ds4),模型庫裡目前有 gpt-oss-120b、Qwen3.8-2...
agent三部曲開跑 最近做 AI Agent 的任務後,回來看自己這台機器,感受特別具體,agent 不是聊天,它是一個會自己決定下一步、會呼叫工具、會把整...
為什麼是 DeepSeek Harness ? 8 月 13 日 DeepSeek 在釋出 V4 Pro 的同一天,順手把自家的 agent harness...