昨天有說到 RAG 的效能衡量可以分成兩大類,今天就是要先介紹檢索指標(Retrieval metrics)。我們不需要把檢索和生成混在一起看,而是可以單獨檢查...
這次要講的內容是 如何去評估 RAG 的效能。我們使用 RAG 的最大原因,就是希望能避免 LLM 產生幻覺,但問題是:即使結合了檢索,我們仍然不能百分之百保證...
在 Day 12,我們理解了 Embedding 這個將「語意」轉化為「數學座標」的魔法。在我們迫不及待地想把所有筆記都向量化之前,還有一個極其重要、卻也最常被...
今天要實作的內容是 Generation pipeline 的部分,就是怎麼將提問跟 RAG 檢索到的資料全部丟到 LLM 給他做回應。 因為這邊後面的實作內容...
🔹 前言 經過前幾天(Day 8–11) 的實作,我們已經完成了從 文件清洗 → Chunking → 向量化 → 索引 → 查詢流程 → 上下文組裝 的基礎。...
昨天已經教學大家要怎麼做 Chunking 了,今天就是要教學如何把它放進一個可以用來查詢的資料庫,這邊我們也會試著提問,看產出。雖然我昨天的教學只有教你怎麼切...
今天就開始我們的實作,這次我取用的資料是資通安全管理法,這邊可以直接點擊網站下載。 1. 取得文件內的文字要處理這個文件前,要先取得這個檔案的內容。 # 要先安...
前言 歡迎來到第九天!昨天我們透過了解了 RAG 的基本概念並透過 Gemini Embedding API 實際看到了文字是怎麼轉為向量陣列的,我自己相當喜歡...
新來的朋友,建議可以先回顧前幾天的文章,之前已經分別聊過 RAG 的兩大流程: Indexing pipeline:資料怎麼被處理、切割、轉換成向量,最後存進...
前言 歡迎來到第二週!真虧你看完昨天那篇落落長的鬼東西還沒棄坑,真有你的!我打完看了一下字數約四萬字,自己也傻了一下,但為了系列文的完整度我又不能直接跳過那些程...
延續 Day 7|Generation pipeline:AI 如何把知識取出來用 的內容,這邊要講到 Prompt Engineering,這邊會很重要的原因...
在 Day 7|Generation pipeline:AI 如何把知識取出來用 有說到檢索方式其實有很多種,今天就來介紹幾種常見的檢索方式。 1. TF-...
🔹 前言 昨天我們做了一個最小可行的 QA Bot,但知識庫的單位是「整句 FAQ」,格式非常乾淨。 然而真實情況下,文件來源可能包含: Word / PDF...
之前我們已經討論過 Indexing pipeline 是怎麼把知識存進去,現在就要來看 Generation pipeline 如何把知識「取出來用」。這邊可...
🔹 前言 昨天 (Day 6) 我們第一次跑出 Minimal RAG QA Bot,流程是: 使用者提問 → Embedding → 檢索 → LLM 回答。...
🔹 前言 前兩天我們分別搞定了 RAG 的兩個基礎拼圖: Day 4 向量資料庫 → 負責「存資料」以及「找尋片段」 Day 5 Embedding 模型...
新來的朋友,一樣先建議先回顧先前的文章,才會比較明白整個 Indexing pipeline 的流程以及這章是在哪個環節噢!文章在這:Day 3|Indexin...
怕大家突然看到這篇會不知道為什麼跳到這部分,如果是新來的朋友想了解詳細流程,可以先回顧我之前第三天的文章:Day 3|Indexing pipeline:如何為...
昨天把 Indexing pipeline 跑過一遍:從資料載入、Chunking、Embeddings,到向量資料庫。要讓 RAG 找到「對的內容」,關鍵在第...
硬體眾籌,參差不齊的起點 當這個專案從「需求」走到「實作」的階段時,我們面臨的第一個現實問題,就是硬體來源。 所有設備都是透過志工與善心人士眾籌而來的。這聽起來...
昨天看到 RAG 架構,今天要更深入,看看如何建立知識庫。 我們先看這張圖來逐一拆解他的步驟:來源:Build a Retrieval Augmented Ge...
昨天我們提到 LLM 有三個限制:資料過時、資料來源有限,以及容易產生幻覺。今天要介紹的 RAG(Retrieval-Augmented Generation)...
在上一篇導論中,我們提到因簡單的RAG不足以處理實務問題,且有機敏資料你希望保護,所以需要在地端建立AgenticRAG。那就會有人問: "那為什麼公...
在進入 RAG(Retrieval-Augmented Generation,檢索增強生成)的世界前,讓我們先思考一個核心問題:為什麼大型語言模型(LLM)有時...
在 「Notion 遇上 LLM:30 天打造我的 AI 知識管理系統」 系列裡,我的目標是把 Notion 從一個單純的筆記倉庫,進化為一個能理解內容、回答問...
在第一天,我想先從基礎先談起。大家可能都聽過生成式 AI 像是 (ChatGPT),有時候使用完他可能也是在「亂編答案」,不見得能夠一步到位就生成你想要的問題,...
🔍 為什麼要寫這個系列? Hi 我是Seedfood,是一名DA轉DS轉MLE再轉AI的雜技Data人。 今年在強者我朋友們的力推下,勇敢地參加了這屆的鐵人賽,...
在數位化浪潮下,企業紛紛擁抱生成式 AI,其中最常見的應用,無非是客服與知識管理。然而,在建置企業專屬的知識庫時,一個棘手問題浮現:如何讓 AI 正確解析各式各...
歡迎來到本系列 歡迎來到 「Notion 遇上 LLM:30 天打造我的 AI 知識管理系統」。在接下來的一個月裡,我會帶你一步步實作,從需求分析、系統架構設計...
HI!大家好,我是 Shammi 😊 在開發程式前也需要了解 AI 基本應用,一起來認識RAG架構是什麼吧!開始前,你有沒有想過,為什麼有些 AI 機器人會一本...