在這次鐵人賽開始之前,我的目標其實很單純:讓 Notion 筆記不只是儲存資訊,而是能主動回應問題。 30 天過去了,我們從零開始,經歷了資料結構設計、向量化、...
前言 歡迎來到最後一天!照過往參賽的邏輯,今天都會是一個反省與回顧的好日子,我個人的回顧比較沒人在乎,會放在文章結束前,我們主要還是先回顧一下這30天來我們究竟...
🔹 第 30 天只是一個開始 這系列是我 9/4 起床時腦中靈光一閃決定要寫的。當我在 Day 1 決定最後目標是要做「一個企業知識庫 FAQ Chatbot...
🔹 前言 Day28 做完了環境評估以及串接測試後,今天我們會實際把程式部署到 AWS 上面,看看整條路徑能不能撐得住。 首先把應用程式部署到 AWS EC2,...
引言 前面三天我們一步步完成了資料前處理、建立向量資料庫、向量檢索、重排序,今天終於要進入最後一塊拼圖:生成(Generation),也就是讓 LLM 把前面找...
在 Day 27,我們深入診斷了系統中的關於 metadata 四個關鍵問題,並制定了完整的修正計畫。今天我們要動手實作,按照既定的順序逐步完成所有修正:...
🔹 前言 經過前 26 天對於 RAG 以及對於 LLMOps 的各面向的學習,終於來到實作以及驗收這個 RAG FAQ Chatbot 的階段。今天的目標就是...
引言 上一篇我們用向量檢索找出了幾個相似的 chunk。但有時候即使找到了 top_k 的候選文件,相關性的排序也還不是最完美的。有些內容雖然有相關,但對回答問...
在 Day 25,我們完成了對話記憶與來源追蹤的完整設計規劃。今天,我們將把這些設計概念轉化為實際可運作的程式碼,並透過實測發現系統的改進空間。 今日目標:...
在 Day 24,我們打造了第一個可以「對話」的 Notion × LLM 助理,讓使用者能直接用自然語言從筆記中搜尋答案。但實際使用後我發現,它仍然比較像是「...
前言 歡迎來到 Day 25!放假囉放假囉~!每次連假前的最後一個上班日都相對挺有趣的,下午就可以看到大家越來越心不在焉:D 我們昨天成功地將前端 UI 與後端...
引言 在上一篇的內容中,我們把所有文章切成小段落(chunk),再用 BGE-M3 轉成向量,存進 Qdrant,完成了我們的 知識向量資料庫。前一篇傳送門🚪...
引言 打造我們的 RAG 系統的第一步就是要先處理好我們知識的來源:「資料庫」! 今天的內容是要建立一個能用 語意搜尋 的資料庫,也就是 向量資料庫(Vecto...
引言 大家有沒有遇過這種情況,就是你問 GPT 一些文獻要怎麼找,結果它開始亂丟一堆研究給你,講得天花亂墜,但大部分它說的文獻根本就不存在 😭有時候,當 LLM...
在 Day 22 中,我們已經完成了一個基礎版的 RAG 後端來達成: 接收使用者輸入的問題 透過 ChromaDB 檢索最相關的 Notion 筆記 由 G...
🔹 前言 昨天(Day22)我們談到 Registry(模型/知識庫版本管理),確保任何時候線上跑的都是唯一正確的版本,並且升級、回滾都有紀錄可查。然而,現實世...
到目前為止,Agent 只能「問→答→(必要時)重答」,但還不會自己檢查邏輯、規劃下一步。所以今天的目標就是要讓它具備: 自我反思(Reflection):...
昨天我們讓模型能自己選工具,從人工判斷變成自動決策,不過還有一個問題,那麼就是 :它的答案到底好不好?準不準?有沒有亂講?光靠肉眼看很難判斷,這時就要請出我們之...
昨天我們已經完成了最小可跑的版本,連結了查資料庫、組 prompt、請模型回答,我們現在要加上兩個功能也就是工具化(Tool)與記憶(Memory)。簡單說一下...
為了打造 Notion Rag 系統,在前 21 天,我們做了許多「資料流」的工作: 從 Notion 撈資料(Database → Page → Block...
今天先把最小能跑的版本 MVP 做出來,後面的幾天會加入像是工具選擇、記憶、評分那些的。為了避免越做越亂,我會先把目錄的結構畫出來再開始實作。 檔案架構 檔案...
🔹 前言 昨天我們談到 品質監控與幻覺偵測 , 就算模型輸出的答案正確,還要確保它「可靠、可信」。但即使模型回答正確,還有一個現實問題: 👉 為什麼我的 LLM...
前言 第二十天終於到了,這同時也表示旅程也將到終點了,照我的規劃,剩下的天數應該完全足夠把整個專案完成,並在最後一天做個總回顧跟一些可能的發展方向,理論上應該能...
🔹 前言 經過前面系列的文章,我們已經從零搭建出一條完整的 RAG Pipeline ,目前具備以下能力: 文件清洗與 Chunking 把原始文件整理成乾...
前言 歡迎來到第十七天!昨天我們為 Streaming 體驗加上了「打字機效果」和「取消功能」,讓 AI 面試官的互動感覺更流暢、更可控。整個通訊管道現在可以說...
前面指標能介紹的都介紹完了,今天就開始我們的實作吧!要複習的話可以參考前幾天的內容,就讓我們開始ㄅ~ 1. 安裝環境這邊我們使用 Ollama + Mistr...
昨天介紹了 RAGAs 當中的核心指標了,今天是主要討論跟總結。其實昨天只提到了最主要的核心部分,不過還有很多可以去仔細翻閱查看,這邊就留給大家學習了,絕對不是...
前面有介紹過一些傳統的指標像是精確率、召回率那些,不過那些指標都不能完整的反應 RAG 的效能,因為 RAG 的系統同時會牽涉到「檢索」與「生成」兩個部分,所以...
今天只負責總結內容噢!如果需要看更詳細的內容就請回顧下面這兩天的: Day 15|RAG 評估指南(1/2):檢索指標(上) Day 16|RAG 評估...
延續昨天的內容,如果想回顧其他指標的話可以看上一篇--Day 15|RAG 評估指南(1/2):檢索指標(上)廢話不多說了,我們馬上開始! 5. F1 分數...