鐵人檔案
「地端 LLM 好慢」不是感覺,是一筆算得出來的帳。30 天用兩台真機實測——128GB 的 M4 Max 對上 2×RTX 4070 Ti——再用同一把尺推算到 RTX PRO 6000 與 H100,把「RAG 一問 45 秒」拆成量測、容量、吞吐、準確度四張地圖,修到 2 秒
內容:TTFT/TPOT 壓測、用 KV cache 與 roofline 算「能服務幾人」、thinking 與 prefix cache 調校、消費卡 GPU 共享、五顆 2026 開源模型解剖、RAG 七層歸因與 routing、LoRA 入門
三顆模型的 checkpoint tensor 加起來約 7.85 GiB。卡有 12 GiB，看起來很寬鬆。 再替三個 vLLM instance 各留一份...
昨天那張 12 GiB 預算表替 LLM、embedding、reranker 三張嘴分好了帳，第三張地圖收工。三週下來的帳很好看：Day 01 那個 45 秒...
昨天把一次答錯拆成七層。今天把手伸進第三層：向量本身。 我原本只想挑一顆 embedding。沒想到第一關，竟然不是分數，而是授權。 要的是能吃表格、圖表與掃...
昨天挑完 embedding：授權先看、max_seq_length 是硬上限、榜首不是你的榜首。今天換個更土的問題——到底要餵它多長的一段文字？ 網路上的答案...
昨天處理的是一段文字怎麼切、切多大。假設那一關過了：片段都在庫裡、長度也合理。今天換個問題——搜尋卻拿錯了型號。 假設使用者問的是 PROD-SKU-7842...
企業資料分好幾區：規範 PDF、工單、人事規章、ERP 的庫存數字各在一處，問的卻是同一句話。搜之前先挑一區，會不會更準？ 這個「先決定去哪裡搜」的步驟叫 r...
昨天那四個「資料源」是我拿自己的文章切出來的。拆開 DB、API 與 legacy 之前，有個更基本的問題：這些片段，還是對的嗎？ 我拿同一份語料問了一題：「T...
我問 Gemma 4 E4B：T1 五次量測的 pp 全距是多少？正解 47.9%，它答 5.5%。 5.5% 確實在原文裡——但那是拿掉一筆冷卻不足的量測後...
我照常見教學裡的設定，準備在 Qwen3.5-9B 上掛 LoRA：target_modules=["q_proj","v_pr...
(P.S. 今天2026/9/10 夢限大也迎來了大結局 薇姊沒有輸，接下來該炸哪團呢?) 同一台 Mac、同一顆 Qwen3.8-27B、同一組 40 題。起...
