在生產環境的 AI 應用中，Cache Hit Rate（快取命中率）已成為與系統可用性同等重要的核心指標，直接影響成本、速度與 Token 配額三件事。

什麼是 Cache Hit Rate？
當 API 呼叫模型時，若能直接從快取讀取「已計算過的前綴（Prefix）」，就算一次命中。計算公式：
Cache Hit Rate = 快取讀取 Token 數 / (快取讀取 + 快取寫入 + 一般輸入 Token 數)
命中率越高，重複運算越少，效率越好。

為什麼重要？三大直接影響

• 成本：快取讀取費用通常只有原始輸入的 10%。命中率從 90% 掉到 70%，整體運算成本幾乎翻倍。
• 速度：跳過重複預運算可顯著降低首字反應時間（TTFT），Context 越長，提速效果越明顯。
• 配額保護：高命中率減少 Token 淨消耗，避免觸發服務速率限制。

常見的快取破壞行為
要維持高命中率，必須避免這些操作：

• 頻繁切換模型：快取無法跨模型共用。
• 超過 TTL（生存時間）：閒置太久快取會被自動清除。
• 擾動 Prompt 內容：修改 System Prompt、CLAUDE.md 或變動 Tool 定義順序，都會讓前綴無法匹配，必須重建快取。
• 工作節奏不連貫：長時間閒置（Idle）會增加重建成本。

健康標準

命中率 / 狀態
≥ 90% / 理想健康
70–90% / 可接受，但需關注
<70% / 需重新檢視 Prompt 結構與快取設定

優化 Cache Hit Rate 是 AI 效能優化的第一步，也是成本控制最直接有效的槓桿。

感謝閱讀，為了方便日後系統化檢索，我將技術筆記同步收錄在個人知識基地愷的大冒險 Kai's Adventure