港大等发布GraphGPT：1/50微调参数，准确率提升10倍！无需超长token，LLM也能读懂图结构
新智元报道
编辑：LRS【新智元导读】GraphGPT框架将图结构模型和大语言模型进行参数对齐，利用双阶段图指令微调范式提高模型对图结构的理解能力和适应性，再整合ChatGPT提高逐步推理能力，实现了更快的推理速度和更高的图任务预测准确率。
图神经网络（Graph Neural Networks）已经成为分析和学习图结构数据的强大框架，推动了社交网络分析、推荐系统和生物网络分析等多个领域的进步。
图神经网络的主要优势在于它们能够捕获图数据中固有的结构信息和依赖关系。利用消息传递和聚合机制，图神经网络可以有效地在图中传播和组合信息，从而模拟复杂的关系并进行准确的预测。
近年来，各种图神经网络架构在图节点之间的信息交换和聚合方面引入了不同的创新。例如，图卷积网络（Graph Convolutional Networks）将卷积操作迁移到图结构数据，实现有效的图结构特征表示。
图注意力网络（Graph Attention Networks）利用注意力机制为相邻节点分配不同的权重，实现更细粒度的信息聚合。
然而，许多图神经网络方法的一个显著局限性是它们过于依赖监督学习，这可能导致在面对稀疏和噪声数据时鲁棒性和泛化能力不足。为了增强图神经网络的泛化能力，自监督学习（Self-Supervised Learning）已经成为图表示学习中的一种有前景的方法。
这些方法的目标是生成可泛化到不同下游任务的图表示，但它们仍然需要使用下游图学习场景的标签进行微调。然而，这种对下游任务的标签数据的依赖可能会限制它们在实际情况中的泛化能力，特别是在难以获取高质量标签的情况下。
因此，本研究的目标是通过解决具有挑战性的实际零样本学习场景来提高图模型的泛化能力。受到大语言模型（Large Language Models）在自然语言处理任务中巨大成功的启发，本文将介绍香港大学数据智能实验室和百度等机构提出的图结构大语言模型（GraphGPT），其能够在多种下游数据集和任务中实现高度的泛化。
概述
总得来说，将大语言模型与图学习结合是一项重大的挑战。首先，在图的结构信息和语言空间之间实现适当的对齐需要深入的研究。同时，如何引导大语言模型有效地理解图的结构信息，以及如何赋予大语言模型对于图学习下游任务逐步推理的能力，都是当前面临的关键问题。- 将图领域特定的结构知识与大语言模型的推理能力对齐，以提高图学习的泛化。
- 提出的方法旨在通过图指令微调范式将大语言模型与图结构数据对齐。此范式结合了自监督指令微调，增强了大语言模型对图结构知识的理解和推理能力。此外，引入了具体任务的指令微调，以提高模型在不同图学习任务中的适应性。
- 实验评估了GraphGPT在有监督和零样本图学习任务上的表现。通过与最先进的基线进行比较，GraphGPT展现出在各种设置中优越的泛化能力。
用「文本-图」对齐编码结构信息
在GraphGPT中图结构编码器的选择可以非常灵活，使其能够利用从多种图预训练范式中获得的各种基础GNN架构。为了更有效地将大语言模型与图结构对齐，本节探索了能与大语言模型良好协作的图结构编码方式。受之前的研究启发，本文以对比的方式将文本信息融入图结构的编码过程中。本文直接将带有预训练参数的图编码器集成到GraphGPT模型框架中，从而无缝地整合图编码器的功能。具体来说，让一个图与原始文本内容对应，其中代表节点数，表示第i个结点的文本长度。通过任意图编码器（例如graph transformer）和文本编码器（例如普通transformer）得到编码后的图表示和文本表示。接着，通过对比学习进行不同维度的「文本-图」对齐：其中为对比标签，和为不同对比策略的转换函数。两阶段图指令微调1. 自监督指令微调在图指令微调范式的第一阶段，引入了自监督指令微调机制，其将图领域特定的结构知识注入到语言模型中，提高其推理能力，并使其能够有效地理解图结构中的上下文信息。具体来说，本文设计了一个结构感知的图匹配任务，引导语言模型使用自然语言标记来区分不同的图结点。这个指令任务在准确地将图结点与其相应的文本描述关联起来方面起到了关键作用，从而加深了模型对图结构数据的理解。指令设计图匹配任务的指令包括三个部分：i) 图信息，ii) 人类问题，和 iii) GraphGPT的回应。在这个任务中，将图中的每个节点视为中心节点，并执行h跳的随机邻居采样，从而得到一个子图结构。大语言模型的自然语言输入是人类的问题。在图匹配任务的上下文中，指令包括指示符token<graph> 和一个被打乱的节点文本信息列表。例如，在一个论文引用图中，节点文本信息对应于论文标题。大语言模型在图匹配任务中的目标是将每个图结点token与其相应的节点文本信息对齐。这需要根据图结点token的顺序重新排序节点文本信息列表，有效地将每个图结点token与其相关的文本描述关联起来。微调策略为了高效地优化微调过程，本文提出了一种轻量级对齐投影策略。在训练过程中，固定大语言模型和图编码器的参数，仅专注于优化投影器的参数。训练后，假设投影器已经成功地学会了将编码的图表示映射到图结点token，而大语言模型则擅长将这些图结点token与多种节点文本信息对齐。为了将图结点token与自然语言token对齐，使用一个投影器，它可以简单到用一个单一的线性层实现。这个投影器建立了图结点token和自然语言token之间的对应关系。通过在原始自然语言token序列中替换指示符token<graph>为对齐的图结点token序列{<graph_begin>, <graph_token>1, ..., <graph_token>n, <graph_end>}，从而得到了一个大语言模型的输入token序列。考虑到图匹配过程是无监督的，这将有机会利用来自不同领域的大量未标记的图数据，以增强学习到的投影器的泛化能力。2. 特定任务指令微调在第二阶段，本文提出了特定任务指令微调，旨在定制模型的推理行为，以满足不同图学习任务的特定约束和要求，如节点分类或链接预测。通过使用任务特定的图指令对大语言模型进行微调，引导模型生成更适合当前图学习任务的响应，进一步提高了模型在处理各种图学习任务时的适应性和性能。指令设计为了为每个节点生成图信息，采用第一阶段相同的邻居采样方法。对于节点分类任务，人类问题指令包含指示符token<graph>和关于中心节点的特定文本信息。这个指令提示语言模型基于图结构数据和伴随的文本信息来预测中心节点的类别。在图3中可以看到不同任务的指令数据的模版。1. 总体性能
Obs.1 总体性能优越性：GraphGPT在有监督和零样本场景中都稳定地超越了各种最先进的基线模型。值得注意的是，即使是最近开发的强大的基于GNN的模型，如NodeFormer、DIFFormer和GKD，在监督设置中都展现出了良好的结构建模能力，但当它们被转移到没有进一步训练的新数据集时，性能显著下降。相比之下，GraphGPT不仅在监督任务中超越了所有最先进的方法，而且在零样本图学习场景中实现了显著的2-10倍的准确率提升。此外，基于大语言模型的解决方案，如Baichuan-7B和Vicuna-7B在不同的数据集中都保持稳定的性能。然而，它们仅限于基于文本信息进行预测。相比之下，GraphGPT有效地保留了图结构信息，为图学习任务提供了更全面的解决方案。Obs.2 结构感知的图匹配任务：第一阶段指令微调的自监督图匹配任务，对于增强GraphGPT的零样本迁移能力起到了关键作用。第一阶段重点是将编码丰富结构信息的图结点token与语言 token对齐。这种对齐使模型能够更深入地理解图数据的固有结构特性。如果没有第一阶段，模型只进行特定任务的指令微调的第二阶段，模型往往更容易在特定数据集上过拟合。在这种情况下，模型的性能可能严重依赖于数据集特定的模式和特性，而不是对底层图结构的真正理解。这可能限制了模型对新的、未见过的数据集的泛化能力。Obs.3 思维链蒸馏：「-std」和「-cot」变体表明，使用思维链蒸馏对更复杂的图学习任务有很大的帮助。使用标准指令数据集微调的模型在转移到较简单的任务时，如只有3个类的PubMed数据集，已经可以取得显著的结果，例如Arxiv-PubMed的准确率为0.7011。然而，当应用于如Cora数据集这样有70个类的复杂任务时，它们的性能往往只是中等的。通过思维链蒸馏利用闭源模型（GPT-3.5）的强大推理能力，模型可以整合这些知识和推理能力，并显著提高其在复杂图任务上的性能。总结与未来工作
本文提出了一个有效且可扩展的图结构大语言模型，旨在提高图结构模型的泛化能力。所提出的框架，GraphGPT，通过双阶段图指令微调范式将图领域特定的结构知识注入到大语言模型中。通过利用一个简单而有效的图文对齐投影器，使语言模型能够理解和解释图的结构。在不同设置下的广泛评估证明了模型在监督和零样本图学习场景中的有效性。此外，该模型展现出强大的泛化能力，使其能够处理多种下游数据集和任务，而不会遭受灾难性的遗忘。未来的研究方向是探索修剪技术来压缩LLM的冗余或不太重要的参数，从而减少整体模型大小，同时保持其性能。One More Thing
关于图基础模型的思考：最近基础模型（Foundation Models）在自然语言处理（NLP）和计算机视觉领域（CV）都有蓬勃的发展，涌现了许多不可思议的应用（如ChatGPT，Segment Anything）。然而，在图学习领域，如何构造基础模型，图学习领域的基础模型是否存在一直悬而未定。这是由于不同图结构的「语义」存在较大区别，无法用一个统一的模型做到跨数据集，多任务的图结构建模。我们的工作利用大语言模型强大的语义建模能力，同时用图指令微调的方法使大语言模型拥有结构理解能力，可以作为图基础模型的一个发展方向。关于Data-Centric 图学习的思考：基础模型的发展展现了数据为中心的人工智能（Data-Centric AI）的有效性和优越性。然而，由于不同的图结构之间的「结构关系」无法像NLP中转换为统一的token表示或者CV中的像素表示，如何定义和开发Data-Centric 图学习一直尚无定论。我们在实验中发现，GraphGPT可以在混合多种数据的情况下彰显出更强的准确度，泛化性和多任务属性，缓解了传统图神经网络的灾难性遗忘问题。因此，我们相信所提出的图指令微调框架可以很好的作为Data-Centric 图学习的一个研究基础。参考资料：https://graphgpt.github.io/