FAISS(Facebook AI Similarity Search)是一個用來快速搜尋相似向量的資料庫系統。
由Meta(Facebook)開發,能在數百萬甚至上億筆向量中,用極快的速度找出與查詢最相似的幾筆資料。
在RAG系統裡,每一段文字(例如一句話或一段文件)都會被Embedding模型轉換成數字向量,每筆向量通常有384維、768維,甚至上千維,當資料越多,搜尋的難度就越高。
如果我們有上萬筆、甚至上百萬筆文件向量,要比對每個查詢與所有向量的相似度,就會變得非常慢,這時候,FAISS就登場了,它能在幾百萬筆向量中快速比對相似度,且能用更少的記憶體儲存這些向量,並支援CPU/GPU加速運算。
架構概念:
文字段落→Embedding→儲存到FAISS Index
查詢文字→Embedding→到FAISS Index快速比對向量的相似度→找出最相似的資料