🔍 為什麼要寫這個系列？

Hi 我是Seedfood，是一名DA轉DS轉MLE再轉AI的雜技Data人。

今年在強者我朋友們的力推下，勇敢地參加了這屆的鐵人賽，希望把過去2年在做RAG的一些心路歷程做一些回顧和分享，也訓練自己輸出的能力。

在這個號稱10個工程師有11個會RAG的年代(第11個是PM)，我經常遇到所謂RAG的經驗就是embedding打OpenAI、LLM打OpenAI、甚至現在還有解析檔案也直接打OpenAI，所以連Chunk都不用管，因為Context window真的夠大。可是如果你的資料不想外洩，你需要在地端建立真的動手建一套知識系統，那該怎麼做?又有多少坑需要踩過爬出呢?

筆者現在就是掉在坑內的一員，希望這次的系列能夠釣出一些已經從坑裡爬出的大大，解救還在坑內或準備跳入坑中的朋友們。

🤖 什麼是「RAG」，又為什麼要「Agentic RAG」？

如同前述，這兩年RAG（Retrieval-Augmented Generation）幾乎成為 建構 AI 系統的標配。
它的基本思路很簡單：

1. 檢索：從知識庫中找到最相關的內容
2. 生成：把檢索結果交給 LLM 來生成答案

而中間當然還有許多技術細節，例如你的知識要轉換成向量，幫助系統更好的找到和使用者提問最相關的內容，因此需要embedding，而為了要存向量，因此你需要向量資料庫，相關的細節在這系列的文章都會提到。

由於RAG的應用簡單易懂，因此要完成一個PoC其實是不困難的，然而，當 RAG 被真正應用在實務場景時，問題就浮現了：

• 查不到 → 答不出來：單次檢索無法覆蓋複雜問題
• 相關 ≠ 正確：檢索回來的內容可能冗餘或誤導，導致幻覺
• 無法分工：遇到需要計算、邏輯推理、多步驟思考時，RAG 無能為力

這也是為什麼我們需要走向 Agentic RAG。

所謂 Agentic RAG，就是在傳統 RAG 架構上，加入 Agent 思維與工具使用能力。
它不再是單純的「檢索 → 回答」，而是可以：

• 分解問題 → 拆成子問題，逐步查找與回答
• 使用工具 → 不只依靠檢索，還能呼叫計算、路由、甚至外部 API
• 多步推理 → 根據中間結果，決定下一步行動，直到完成任務

有了上面的能力，Agentic RAG 才比較能夠在真實應用場景中落地，實際上Agent就是一個趨勢，而RAG會是Agent最得力的工具之一。

🗂️ 這個系列會怎麼進行？

為了讓整個旅程更有結構，我會將 30 天拆成 4 個週次，並且採取「知識導讀 + 實作體驗」的方式。

• 知識導讀（5~6 天）：每天針對該週核心技術主題撰寫，整理概念、架構或是比較（偏向技術筆記）。
• 實作驗證（1–2 天）：動手跑一個最小可行版本，把學到的知識轉化成能運行的程式，同時做一些測試與驗證。

進度安排如下：

📌 Week 1（09/15–09/21）：Baseline 打底

• 目標：建立一個 最小可行的 RAG 系統
• 重點：RAG 架構、chunking 策略、embedding 模型比較、向量資料庫比較
• 實作：預計使用 OpenAI API + Chroma + PDF parsing，完成第一個能跑的 pipeline

📌 Week 2（09/22–09/28）：Retrieval 強化

• 目標：解決檢索不足與準確率問題
• 重點：Hybrid search、Reranker、本地 LLM 部署
• 實作：預計使用** Qdrant + 本地模型(預計使用Llama 8B)**，並測試複雜問題

📌 Week 3（09/29–10/05）：Agent 化

• 目標：讓系統能 思考與行動
• 重點：Agent 類型、工具化、ReAct、Self-Ask、MRKL、多步推理
• 實作：在地端建立一個具備「檢索 + 工具使用」的 Agent，預計使用MRKL框架，搭配Qdrant以及本地模型gpt-oss-20b

📌 Week 4（10/06–10/15）：監控與優化

• 目標：讓系統能被 監控、評估、部署
• 重點：Prometheus/Grafana、Langfuse、評估框架、幻覺處理、Streamlit UI、Caching、PQ/壓縮
• 實作：用 Docker Compose 打包完整系統

🎯 最終成果

在第 30 天結束時，這個系列將交付：

• 一個 從 API 串接到本地 LLM 部署的完整 Agentic RAG 系統
• 一套 監控與評估框架，包含延遲、準確度與幻覺率指標
  如果可以，也希望能提供:
• 一份 踩雷清單，幫助後續延伸開發

時間允許的話：

• 向量資料庫管理 Pipeline：向量資料庫的定期刷新與維護知識庫
• 多模態 RAG：支援文字、圖片、文件混合檢索的初步研究
• GenBI: RAG與結構型資料的合作

📢 準備開賽

這是一場從 「簡單 RAG」→「Agentic RAG」→「可監控與部署的完整系統」 的旅程。
如果你曾經因為 RAG 成效不如預期而感到挫折，或是PoC完後看到老闆很開心但心理糾結要不要做，那麼希望這個系列能和你一起看到 如何一步步填坑讓PoC落地，建構一個能在實務場景中真正發揮作用的RAG應用系統。