這幾天試用了 google notebooklm ,發現隨便上傳幾個文檔,其準確率高的非常嚇人。
目前測試的文檔類型
回顧自己嘗試建立的 RAG 實在慘不忍睹,目前看過很多提升 RAG 的技術,包含:
chunk method 的選擇hybrid search 結合向量搜索與全文搜索BM25其中,我認為 chunk method 這部份是我遇到最大的瓶頸,往往會把連貫的內容拆分開來,導致後續搜索不完全,例如下面文檔:
Success Cases:
1. xxx
2. aaa
3. bbb
嘗試使用 Semantic,會因為 xxx, aaa, bbb 是不太一樣的內容,導致內容被切開。
嘗試使用 Recursion,會因為 chunk size 的初始設定,導致有機率被切開。
此時如果詢問 "success cases 有哪些?" ,基本上搜索的區塊只會有 xxx,後半段被拆開的則搜不到,然而這類型的問題在 notebooklm 都可以正確處理(實在佩服...)。
想請教版上的各位,是否能給我一些提升 RAG 的建議!
研究一下 RGAR , 來評估RAG
https://developer.volcengine.com/articles/7389112206086176804