Paper link | Note link | Code link | AAAI 2024

整體想法

Graph of Thoughts (GoT) 提升了大型語言模型 (LLMs) 的能力，通過網絡化推理來實現更強的推斷能力。 它使得對每個思維進行細緻的控制成為可能。此外他們展示了 GoT 的幾個使用案例，以說明其應用範圍和效能。

摘要

這篇論文介紹了 Graph of Thoughts (GoT），它能夠將大型語言模型（LLM）生成的資訊建模為任意圖形。

這使得能夠將任意的LLM思維結合成協同結果，提煉整個思維網絡的精髓，或使用反饋循環來增強思維。

背景

提示工程是一種資源高效的方法，用於解決不同的大型語言模型（LLM）任務。

Chain-of-Thought (CoT)

這是一種提示方法，其中在提示中包含推理的中間步驟（即中間「思維」），除了任務的輸入/輸出之外。

ree of Thoughts (ToT)

它將LLM的推理過程建模為一棵樹。

這提供了新穎的功能，例如從無前途的結果中回溯。

以下是一個比較不同提示策略的表格。

方法

在「思維圖」（GoT）中，LLM的思維被建模為一個頂點，而邊則表示這些思維之間的依賴關係。

透過使用GoT，可以透過構建具有多條入邊的頂點來聚合任意的思維。

GoT 所採用的圖形抽象能夠將「思維鏈」（CoT）和「思維樹」（ToT）無縫地推廣到更複雜的思維模式，而不需要進行任何模型更新。

下圖顯示了GoT的系統架構及其各個模組的API。

用戶可以直接將設計擴展到新的提示方案，試驗新穎的思維轉換，並插入不同的LLM。

實驗

在實驗中，他們描述了GoT的幾個使用案例。

Sorting

Set Operations

Keyword Counting

Document Merging