2026 年開放權重模型爆發,地端部署已成為企業導入 AI 時兼顧資料主權與成本的實際選項。本系列以 NVIDIA DGX Spark(GB10,128GB 統一記憶體)為主角,搭配 Mac Air M5、QNAP NAS NFS 集中模型庫與 10GbE 網路、其他場域的 100GbE 網路,完整記錄一套可複製的地端 AI 基礎架構。內容涵蓋硬體開箱與網路規劃、llama.cpp、vLLM 等不同推論引擎選型實測、主流開放權重模型的部署與量化策略、ComfyUI 影像與影片生成工作流,以及地端與雲端方案的成本效益分析。三十天後,讀者將能評估並親手建置屬於自己或公司的地端 AI 環境。
agent 時代的新型浪費 三部曲前兩天各讓一個 harness 開了工,今天先講一個比較少人警告過的問題。 agent 工作的節奏跟寫程式完全不同,你交代一...
今天原本要做的,和實際做的有差喔 昨天預告的是一場對決,vLLM 的 prefix cache 對上 FreeToken 的語意錨點快取,用三天累積的真實 a...
作圖做影片好用的地端 AI 首選 - ComfyUI 連續七天的引擎與 agent 硬仗打完了,本週進生成媒體週。節奏會輕一點,但方法論不變,今天要做的事跟...
影片生成是地端最貴的工作 生圖一張幾秒到幾十秒,影片一段動輒幾分鐘到十幾分鐘,而且每改一次提示詞就要重來。雲端服務的計價方式在這影片生成領域的費用最高,地端...
先講清楚什麼是微調 ? 應用地端 AI 領域中,一款開放權重模型出廠時,已經用大量語言資料訓練過,它會的東西叫「預訓練知識」。「微調」則是在這個基礎上,用一小...
訓練好的模型不一定能用 昨天訓練出一個 adapter,304 MiB,掛在 4-bit 底模上用 Unsloth 推論是成功的,但它的那個狀態離掛進閘道給大...
先接上昨天的結尾 昨天最後一句是「而我剛好有第二台」。Day 3 畫拓撲圖的時候,那條 QSFP28 直連線旁邊寫著「已鋪好路等通車」,當時第二台 Spark...
為什麼維運篇要放在倒數第三天 因為前面 27 天的素材已經夠了。這台機器在系列期間整台停擺兩次(一次斷電、一次只剩 ping 有回應),差點停擺一次(MemA...