Paper link | Note link | Code link | EMNLP 2023

整體想法

本篇提出了一個通用框架，用於提升LLM在結構化數據上的零樣本推理能力。

摘要

在這篇論文中，他們旨在以統一的方式提升大型語言模型（LLMs）在結構化數據上的推理能力。

受LLM工具增強研究的啟發，他們開發了一個「迭代閱讀-然後推理」（Iterative Reading-then-Reasoning, IRR）框架，來解決基於結構化數據的問答任務，稱為 StructGPT。

背景

儘管大型語言模型（LLMs）在自然語言處理（NLP）領域取得了顯著進展，但最近的研究也揭示了LLMs可能會生成與事實知識相衝突的不實資訊，並且在掌握特定領域或實時知識方面仍然存在不足。

方法

本研究受到增強LLM能力的工具操作策略的啟發。

他們整合了專門的介面來操作結構化數據記錄。

這樣，LLMs可以專注於基於從這些介面獲得的證據進行推理。

這項工作主要集中在使用LLMs解決基於結構化數據的複雜推理任務。

實驗

他們針對結構化數據上的三個複雜推理任務進行了實驗：

1. KGQA（基於知識圖譜的問答）
2. TableQA（表格問答）
3. 基於數據庫的文本轉SQL（text-to-SQL）

下圖顯示了不同方法在KGQA任務中的結果。

下圖顯示了不同方法在TableQA任務中的結果。

下圖顯示了不同方法在Text-to-SQL任務中的結果。