iT邦幫忙

2025 iThome 鐵人賽

DAY 17
0

目前為止,我們玩了一些LLM相關的東東,但不管是雲端或本地LLM,都有一個限制:它只能回答訓練時學到的知識,但無法知道最新的訊息。
所以今天要來介紹RAG是怎麼幫助AI獲取最新資訊的。


RAG是啥?他可以幹嘛?
RAG全名是Retrieval-Augmented Generation,檢索增強生成。
他的工作大致上分為兩步 :
1.檢索 (Retrieval)
從外部知識庫(文件、資料庫、網頁等)尋找相關段落。
通常透過向量資料庫(像FAISS、Pinecone、Weaviate等)實作。
2.生成 (Generation)
把搜尋到的文本加上使用者的問題,一起丟給LLM。
模型就可以根據這些資訊生成更精確的答案。


一些可以使用的工具與框架
LangChain:最常用的 RAG 框架,支援多種向量資料庫。
LlamaIndex(原名 GPT Index):專注在「把文件轉換成索引」的流程。
向量資料庫:FAISS(本地)、Pinecone(雲端)、Weaviate(混合式)。
本地整合:如果搭配 ollama/llama.cpp,也能做簡單RAG。


上一篇
Day 16 . 嘗試在本地端運行LLM:ollama
系列文
30天從不認識生成式AI到好像稍微可能有點熟悉的過程17
圖片
  熱門推薦
圖片
{{ item.channelVendor }} | {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言