Paper link | Note link | Code link | ICLR 2024

整體想法

隨著文本和關係整合的重要性日增，以及大型語言模型（LLMs）的興起，文本屬性圖（TAG）任務將在未來幾年吸引更多關注。

此研究為 LLMs 和圖神經網絡（GNNs）的融合的開創性工作。

摘要

近年來，針對文本屬性圖（TAGs）的表示學習成為重要的研究課題。

典型例子包括論文引用圖，其中每篇論文的文本作為節點屬性。

本研究著重於利用LLMs來捕捉文本信息作為特徵，以提升GNN在下游任務中的表現。

背景

最初的圖神經網絡（GNN）管道將這些文本屬性轉換為淺層或手工製作的特徵，如skip-gram或詞袋特徵。

近期的研究著重於利用語言模型（LMs）來增強這些管道，然而這通常需要複雜的設計和大量計算資源。

隨著強大大型語言模型（LLMs）的出現，如GPT或Llama2，它們展現了推理和利用一般知識的能力，因此，結合LLMs的文本建模能力與GNN的結構學習能力的技術需求日益增長。

方法

這個方法利用大型語言模型（LLMs）來增強文本屬性圖（TAGs）的表示學習。

首先，每個節點的文本屬性，如標題和摘要，會被包裝在一個自定義的提示中，然後用於查詢LLM，例如GPT-3.5，以生成一個排名預測列表和解釋。

接著，這些原始文本、預測結果和解釋會用來微調一個語言模型，並轉換為向量化的節點特徵。

最後，這些增強的節點特徵（例如horig、hexpl和hpred）會被用於任何下游的圖神經網絡（GNN），例如RevGAT，來預測未知的節點類別。

實驗

Dataset

• Cora
• PubMed
• ogbn-arxiv
• ogbn-products
• tape-arxiv23

以下表格顯示了此方法在不同數據集上的節點分類準確度。

G↑表示此方法相對於僅使用淺層特徵訓練的GNN所帶來的準確度改進，L↑則表示相對於語言模型微調所帶來的改進。

結果是基於四次不同隨機種子運行的平均值，最佳結果以粗體字標示。

上方表格透過使用 DeBERTa-base 作為語言模型後端，RevGAT 作為圖神經網絡後端，對比不同的語言模型和GNN融合訓練模式，包括此方法提出的方法和最先進的GLEM方法。

報告中紀錄測試準確度、參數數量、最大批量大小（Max bsz.）以及在4張NVIDIA RTX A5000 24GB GPU上的總訓練時間。