鐵人檔案
在這 30 天我們將從零開始，紮實拆解 RAG 的核心元件與運作流程，並深入剖析檢索與回答兩大面向共 8 種關鍵評測指標，建立清晰的診斷能力；透過循序漸進的觀念梳理與階段性總結，一步步建構出系統化的評測思維，擺脫盲目調整的困境，用客觀數據讓 RAG 系統發揮最大價值！
前面幾天，我們已經陸續認識了 RAG 中的各個元件。從最開始的資料前處理、Chunking、Embedding，到後面的向量資料庫、Retriever、Rera...
在正式開始之前，先說明一下接下來幾篇文章的架構。RAG 評測大致可以分成兩個方向：一是檢索品質評估，關心的是「有沒有找到對的資料」；二是回答品質評估，關心的是「...
Day12 談的是「找回來的資料，有多少是相關的」，今天要換一個角度：「真正需要的資料，有多少被找回來」。這就是 Context Recall。 只看 Cont...
Day12 我們學到 Context Precision 在看「找回來的資料夠不夠精準」，Day13 則進一步問「真正需要的資訊有沒有被找回來」。今天要把這個問...
前面三篇，我們分別從不同角度檢查了 RAG 的檢索結果：Context Precision 看找回來的資料準不準，Context Recall 看必要資料有沒有...
Day12 到 Day15，我們分別從四個角度檢查了 RAG 的檢索結果。今天不介紹新指標，而是把這四個指標放在一起，看它們如何互補、怎麼組合判讀，以及分數不好...
Day12 到 Day15，我們把檢索階段的四個指標一個一個拆開來看，Day16 也整合回顧了一次：Context 準不準、全不全、關鍵事實齊不齊、面對雜訊穩不...
Day17 的 Answer Relevancy 看的是回答有沒有切題，但切題不代表可靠。今天要看的是 Faithfulness（忠實度）：模型的回答，是不是真...
Day18 的 Faithfulness 檢查回答有沒有超出 Context，但它有一個盲點，如果 Context 本身是錯的，模型忠實照抄，分數依然很高。今天...
前三個回答品質指標，看的都是單輪問答。但使用者不會只問一句話就走，尤其是客服機器人、HR 助理這類系統，對話中很容易出現「跑題」的狀況。今天是回答品質的最後一個...
