我以前判斷一筆資料有沒有處理好,方法很直觀:回去看有沒有摘要和標籤,在知識庫裡找不找得到它。有的話,我也會看標籤是不是貼得合理;沒有的話,就再等一下,或開始懷疑...
昨天講注意力怎麼分配,今天講錢怎麼算。這兩件事共用同一個底層:token。你在 API 帳單上看到的每一個數字,背後都有機制可以解釋,知道機制之後,很多省錢手段...
Day 13 結尾留了一個問題:語料裡沒有答案的時候,要怎麼讓系統說「我不知道」——因為分數已經證明它不會自己說。這篇把查詢管線接成 POST /api/v1/...
書接上回,LLM是生成式AI的子集合,也就是說生成式AI涵蓋的範圍更大。
先解釋定義:生成式 AI 是透過大量資料訓練深度學習模型,學習資料中的模式與特徵,進而...
前一篇我們談了 Latency、Throughput、QPS、Concurrency,以及 LLM Serving 裡常見的 TTFT、ITL 與 Tokens...
系統訊息與 Prompt Hooks 讓應用程式可以整理 Agent 開始處理前取得的工作脈絡,也能在每一則使用者提示進入 Agent Loop 前調整內容與補...