大型語言模型常因訓練資料過時或未涵蓋私有知識,回答時容易產生看似合理卻錯誤的「幻覺」。RAG(檢索增強生成)讓模型在回答前先從外部知識庫檢索相關資料,再依據內容生成回答,藉此降低幻覺、提升可信度。本系列以30天記錄一套RAG系統從零到落地的完整實作歷程,涵蓋資料前處理、Chunking策略、Embedding與向量資料庫建置、檢索優化(Hybrid Search、Rerank、Query改寫)、Prompt設計與RAGAS評估,最終完成API化部署與監控維運,盼能給想踏入RAG領域的開發者一份完整實戰指南。
前言 昨天介紹了 Embedding 模型的選型考量,今天要來看向量資料庫(Vector Database)——負責儲存這些向量,並提供快速的相似度搜尋能力的角...
前言 前幾天分別談了 Embedding 與向量資料庫的選型,今天要把兩者串接起來,實際把 Day 9 產出的 chunk 資料,轉換成向量並寫入資料庫,完成...
前言 索引建好之後,今天要來理解檢索階段最核心的數學原理:向量之間的「相似度」到底是怎麼算出來的,以及為什麼大規模資料下不能用暴力比對。 向量相似度怎麼算? 最...
前言 前幾天分別談了 Embedding、向量資料庫選型與相似度搜尋原理,今天要把這些拼圖組裝起來,做一個從「輸入問題」到「拿到檢索結果」的最小可行版本(MVP...
前言 昨天完成了第一個能查詢的向量資料庫,今天要更仔細地檢視「Top-K 向量檢索」這個最基礎的做法,看看它實際上有哪些侷限,作為接下來一週檢索優化系列的開場。...
前言 昨天提到,純向量檢索對「精確關鍵字、專有名詞、代號」不一定敏感。今天要介紹的 Hybrid Search(混合檢索),就是為了截長補短:同時使用關鍵字搜尋...