30天打造一個「能找、能想、可監控」的地端智慧檢索系統:從最小 RAG Baseline 出發,逐步加入 chunk 策略、Embedding Pipeline、向量庫比較、Hybrid + Rerank、Agent 工具化(ReAct, MRKL)與多步推理,再建立評估框架與監控儀表( Langfuse),最後整合為可部署 Demo。
🔍 為什麼要寫這個系列? Hi 我是Seedfood,是一名DA轉DS轉MLE再轉AI的雜技Data人。 今年在強者我朋友們的力推下,勇敢地參加了這屆的鐵人賽,...
在上一篇導論中,我們提到因簡單的RAG不足以處理實務問題,且有機敏資料你希望保護,所以需要在地端建立AgenticRAG。那就會有人問: "那為什麼公...
在前一篇文章的最後面,我們介紹了 RAG 的架構分層有分為 1. 資料處理與知識庫模組和 2. 使用者查詢與生成模組。接下來,我們要開始進入資料處理與知識庫模組...
當我們在做 RAG 的時候,要能找到使用者問題和正確的參考知識,靠的是 語意搜尋 (semantic search)。這背後的關鍵,就是把文字轉換成向量,將語意...
🔍 向量資料庫 (Vector Database) 為何重要? 在 RAG 系統中,找到「語意最接近的知識片段」是核心,然而昨日文章有提到,要做語意檢索,其實是...
在我們開始實作 RAG 系統之前,首先要先安裝好相關套件,尤其是我們的第一步是處理 知識文件的任務,許多PDF處理工具需要用到OCR相關技術,會有一些比較特別的...
前言 昨天我們先把需要的套件都安裝起來,今天要做的就是實際跑程式,將一份檔案處理完存入向量資料庫。今天文章主要分下面幾段: PDF Parsing Chunk...
前言 昨天的步驟是Retrieval,也就是「找回相關資料」,而完整的RAG,還需要 用這些資料產生回答, 也就是 RAG 中的 Augmented, Gen...
🔍為什麼需要 Hybrid Search? 讀者到這邊多少都有感覺到,其實目前介紹RAG的檢索階段就是以前的搜尋引擎,只是搜尋方法為 向量相似度搜尋(Vecto...
前言 在昨天天的內容裡,我們已經介紹了 Dense Retrieval 與 Sparse Retrieval,以及並透過 Hybrid Search 把兩者結合...