案例故事：一家跨國製造企業的挑戰

想像一家跨國製造企業，員工每天需要處理四類數據：

• PDF 文件：上千頁的產品手冊與維修指南
• SQL 資料庫：零件庫存與供應商資料
• API：即時物流與運輸狀態
• CSV 檔案：歷史銷售數據

問題在於：

• PDF 缺乏結構，OCR 抽取後還充滿雜訊
• 資料庫裡 supplier_id 和 vendor_id 實際上是同義，但存在不同表格
• API 查詢有速率限制，不能每次問答都即時調用
• CSV 有缺值、錯誤格式，甚至有重複紀錄

結果：員工花大量時間在找資料、對齊資訊，導致效率低下。

解決方案：統一數據管道

企業設計了一條 端到端數據整合流程，將所有來源轉換成可供 RAG 使用的知識片段。

1. 文件載入：為不同來源設計專屬 Loader

• PDFLoader：提取文字並清理格式
• DBConnector：對接 SQL / NoSQL 資料庫
• APIClient：批量調用 API，快取常用結果
• FileLoader：載入 CSV / Excel

2. 數據清洗

統一格式，處理缺值、欄位對齊、去重。

3. Chunking

切分成語義完整的小片段，方便後續檢索。

4. Embedding

使用嵌入模型將片段向量化。

5. 向量存儲

存入向量資料庫（如 Pinecone、FAISS、Milvus）。

6. 檢索與問答

RAG 系統在問答時檢索最相關的片段，提供可信答案。

流程圖

📂 PDF / Word -----> 🛠️ PDF Loader
💾 SQL DB ---------> 🛠️ DB Connector  
🌐 API ------------> 🛠️ API Client
📊 CSV ------------> 🛠️ File Loader
                         │
                         ▼
                  🧹 Data Cleaning
                         │
                         ▼
                  ✂️ Chunking
                         │
                         ▼
                  🔢 Embedding
                         │
                         ▼
                 🗄️ Vector Database
                         │
                         ▼
                 💬 RAG 問答系統

企業啟示

• 數據統一是基礎：如果數據源不統一，RAG 系統就無法發揮價值
• 清洗比載入更重要：載入只是第一步，真正的挑戰是如何標準化、消除雜訊
• API 整合要考慮成本：速率限制與延遲可能成為瓶頸，需設計快取或批次更新機制
• 知識庫永遠是動態的：隨著文件更新、庫存變化、API 資料刷新，管道必須具備持續同步的能力

考考你

1. 如果公司有 PDF + API + DB 三種來源，你會如何設計數據管道？

2. 當資料更新頻繁（例如庫存 API 每小時更新），你會如何讓 RAG 系統保持最新？

3. 如果不同部門用不同資料庫，如何做欄位對齊與數據清洗？

第一階段完成

在這階段中，我們已經能夠理解 RAG 的架構與在企業中的用法，大家可以看看是否已學會以下的內容，如果有不熟的可以再回去看看呦! 恭喜大家完成第一階段!
在第一階段中，你已學習到：

• 能解釋 RAG 在企業知識管理中的實際應用價值
• 能分析 LLM 幻覺問題並理解 RAG 的解決方案
• 能針對不同文檔選擇合適的切分策略（Chunking）
• 能選擇合適的嵌入模型並進行初步效果測試
• 已實作並成功運行第一個 RAG 原型，能處理 PDF 問答
• 能將多種企業數據源整合到原型系統中

在下個階段中，我們會介紹如何優化檢索的策略，就讓我們繼續看下去吧!