Paper link | Note link | Code link | ICLR 2024

整體想法

這篇論文提出了圖推理（RoG），通過將大型語言模型（LLMs）與知識圖譜（KGs）結合，進行忠實且可解釋的推理。

摘要

知識圖譜（KGs）以結構化的格式捕捉大量事實，是推理的可靠知識來源。

然而，現有基於KG的大型語言模型（LLM）推理方法僅將KG視為事實知識庫，忽視了它們的結構資訊在推理中的重要性。

在這篇論文中，作者提出了一種名為圖推理（RoG）的新方法，將LLM與KGs相結合，實現忠實且可解釋的推理。

背景

為了解決大型語言模型（LLMs）受限於知識缺乏和容易產生幻覺的問題，已經將知識圖譜（KGs）納入以提升LLMs的推理能力。

下圖顯示了這些問題如何通過KGs中的三元組和關係路徑來解決。

方法

本文提出了一種基於圖形推理（RoG）的方法，該方法包含兩個主要元件：

1. 規劃模組：生成以知識圖譜（KGs）為基礎的關係路徑作為可信計劃。
2. 檢索-推理模組：首先根據計劃從KGs中檢索有效的推理路徑，然後基於檢索到的推理路徑進行可信推理，並生成帶有可解釋說明的答案。

RoG 的工作方式如下：

1. 生成關係路徑：首先，給定一個問題，他們會提示大型語言模型（LLMs）生成幾條以知識圖譜（KGs）為基礎的關係路徑作為計劃。
2. 檢索推理路徑：接著，他們使用這些計劃從KGs中檢索相關的推理路徑。
3. 可信推理與生成答案：最後，基於檢索到的推理路徑進行可信的推理，並生成帶有可解釋說明的答案。

實驗

Dataset

這項研究評估了 RoG 在兩個基準知識圖譜問答 (KGQA) 數據集上的推理能力：

• WebQuestionSP (WebQSP)
• Complex WebQuestions (CWQ)

Evaluation Metrics

• Hits@1：測量正確答案排名在第一的位置的比例。
• F1：精確率和召回率的調和平均數，反映模型答案的準確性和完整性。

他們使用 LLaMA2-Chat-7B 作為 LLM 的骨幹，並將 RoG 與 21 個基準進行比較，這些基準被分為 5 類。

Results

下表展示了 RoG 如何有效解決兩個關鍵挑戰：

1. 知識不足：RoG 的知識圖譜整合能力使其能夠通過從知識圖譜中檢索相關路徑來填補知識空白，從而提高準確性和完整性。

2. 虛假資訊：RoG 通過在結構化的知識圖譜數據中進行推理來減少 LLM 生成虛假資訊的傾向，從而產生更可靠和可解釋的答案。