RAG(Retrieval-Augmented Generation)是檢索式生成模型的縮寫。
它的目的,是讓LLM能夠查資料與引用外部知識來回答問題,解決模型忘記資訊或幻覺亂答(hallucination)問題。
他結合了檢索(Retrieval)和生成(Generation)能力,會先從外部知識庫中找到最相關的文件,再讓LLM根據這些資料生成回答,透過RAG的檢索→生成流程,讓它回答時可以先查再講,避免胡說八道。
RAG的整體架構如下:
使用者問題→向量化 (Embedding)→在向量資料庫中搜尋相似文件 (Retrieval)→取出最相關的文件內容→把問題+文件餵給LLM (Generation)→生成自然語言回答
RAG的四大組成模組: