Paper link | Note link | Code link | NeurIPS 2020

整體想法

這項研究開發了一個檢索增強生成（RAG）模型，以解決語言模型的限制。它結合了預訓練的語言模型和維基百科的密集向量索引，使用神經檢索器來提高特定任務的表現並減少錯誤信息。

摘要

儘管大型語言模型經過廣泛訓練，展現了令人印象深刻的表現，但它們在知識密集型或特定任務上仍面臨限制。本研究旨在提出一種架構，通過檢索增強生成來微調這些模型。

背景

如今，預訓練語言模型可能會產生幻覺，即包含看似真實但實際上是虛假或誤導的信息。

最近，將參數記憶與非參數（即檢索基礎）記憶結合的混合模型在解決這些問題方面顯示出了潛力。兩項研究，REALM 和 ORQA，使用了帶有可微分檢索器的遮蔽語言模型，顯示在開放域抽取式問答中取得了改善的結果。

方法

這項研究構建了RAG模型，其中

• 參數記憶是預訓練的 Seq2Seq 語言模型
• 非參數記憶則是維基百科的密集向量索引，通過預訓練的神經檢索器進行訪問。

這些模組在一個概率模型中結合，並進行端到端的訓練。

Retriever

目的：根據查詢 返回文本段落的（前K名截斷的）分佈。

它使用最大內積搜索來計算具有最高先驗概率的前K名文檔。

Backbone model: BERT base

RAG-Token

它可以為每個目標標記選擇不同的潛在文檔並相應地進行邊際化。

這使得生成器在生成答案時能夠從多個文檔中選擇內容。

RAG-Sequence

它使用相同的檢索文檔來生成完整的序列。

Generator

目的：根據前一個標記 的上下文、輸入 和檢索到的段落 來生成標記。

Backbone model: BART

RAG-Token

它仍然被視為自回歸序列到序列生成器。

RAG-Sequence

它無法通過單次束搜尋來解決。

Thorough Decoding: 對每個文檔 執行束搜尋，使用 來評分假設。如果某個假設 在所有束中都沒有出現，則對每個文檔 進行額外的前向傳播，以估算其概率，並與 相乘後在束中求和。

Fast Decoding: 為了避免對長輸出序列進行大量的前向傳播，對於在束搜尋中未從 生成的假設 ，使用了近似 。這簡化了在生成候選集 後的過程。

實驗

這項研究評估了四個任務：

1. 開放域問答：根據來自不同來源的廣泛主題回答問題。
2. 抽象問答：生成能夠改述或總結給定上下文中的信息的答案。
3. 危險邏輯問答生成：根據給定的答案創建風格類似於遊戲節目《危險邏輯》的問題。
4. 事實驗證：通過與可靠來源比較來評估事實聲明的準確性。

下方展示在問答方面與其他比較方法來說有些許成效

下方生成文字生成有降低幻覺發生，? 表示事實上不正確的回答，* 表示部分正確的回答。