2026年開放權重模型爆發,地端部署成為企業兼顧資料主權與成本的實際選項。本系列以兩台NVIDIA DGX Spark(128GB統一記憶體)為主角,搭配100GbE直連、10GbE骨幹與QNAP NAS集中模型庫,實測記錄可複製的地端AI架構。內容涵蓋llama.cpp、vLLM等五個推論引擎的對齊比較,六款開放模型與量化階梯的繁中品質驗證,agent框架、DeepSeek Harness與多代理指揮的實戰,QLoRA微調到量化上線的完整迴圈,ComfyUI與MiniMax-H3影片生成,以及維運、功耗、成本與ISO 27001治理的結算,讀者將能評估並親手建置屬於自己或公司的地端AI環境。
agent 時代的新型浪費 三部曲前兩天各讓一個 harness 開了工,今天先講一個比較少人警告過的問題。 agent 工作的節奏跟寫程式完全不同,你交代一...
今天原本要做的,和實際做的有差喔 昨天預告的是一場對決,vLLM 的 prefix cache 對上 FreeToken 的語意錨點快取,用三天累積的真實 a...
作圖做影片好用的地端 AI 首選 - ComfyUI 連續七天的引擎與 agent 硬仗打完了,本週進生成媒體週。節奏會輕一點,但方法論不變,今天要做的事跟...
影片生成是地端最貴的工作 生圖一張幾秒到幾十秒,影片一段動輒幾分鐘到十幾分鐘,而且每改一次提示詞就要重來。雲端服務的計價方式在這影片生成領域的費用最高,地端...
先講清楚什麼是微調 ? 應用地端 AI 領域中,一款開放權重模型出廠時,已經用大量語言資料訓練過,它會的東西叫「預訓練知識」。「微調」則是在這個基礎上,用一小...
訓練好的模型不一定能用 昨天訓練出一個 adapter,304 MiB,掛在 4-bit 底模上用 Unsloth 推論是成功的,但它的那個狀態離掛進閘道給大...
先接上昨天的結尾 昨天最後一句是「而我剛好有第二台」。Day 3 畫拓撲圖的時候,那條 QSFP28 直連線旁邊寫著「已鋪好路等通車」,當時第二台 Spark...
為什麼維運篇要放在倒數第三天 因為前面 27 天的素材已經夠了。這台機器在系列期間整台停擺兩次(一次斷電、一次只剩 ping 有回應),差點停擺一次(MemA...
老闆和資安會問的兩張表 28 天的資料,最後要回答兩個問題。第一個是老闆會問的,花這些錢,換到什麼,比雲端划算嗎。第二個是資安或稽核會問的,這套東西放進企業環...
從一台開箱的 GB10 機器開始 8 月 14 日 Day 1 寫下「2026 年是地端 AI 部署元年」的時候,也順便提供了 AI 相關名詞的懶人包,當天重...