2024 KDD
- 归纳了四种主要的graph+大模型
- GNNs as Prefix
- LLMs as Prefix
- LLMs-Graphs Integration
- LLMs-Only
1 GNNs as Prefix
1.1 节点级 Token 化
- 将图结构中的每个节点单独输入到 LLM 中
- 使 LLM 能够深入理解细粒度的节点级结构信息，并准确辨别不同节点间的关联与差异
- 最大限度地保留每个节点的特有结构特征
1.2 图级 Token 化
、
- 将graph综合成一个统一的图表示，喂给大模型
2 LLMs as Prefix
2.1 LLM作为嵌入器
- 借助大模型在语言总结和建模方面的卓越能力，为 GNNs 生成富有意义和效果的嵌入，从而提升其训练效果
2.2 LLM作为label
- LLM生成的信息不直接作为 GNNs 的输入数据，而是构成了更为精细的优化监督信号
3 LLMs-Graphs Intergration
3.1 GNNs 与 LLMs 的融合
- 通常 GNNs 专注于处理结构化数据，而 LLMs 则擅长处理文本数据，这导致两者具有不同的特征空间
- 为了解决这一问题，并促进两种数据模态对 GNNs 和 LLMs 学习的共同增益，一些方法采用对比学习或期望最大化（EM）迭代训练等技术，以对齐两个模型的特征空间
3.2 GNNs 与 LLMs 之间的对齐
- 尽管表示对齐实现了两个模型的共同优化和嵌入级别的对齐，但在推理阶段它们仍是独立的
- 为了实现 LLMs 和 GNNs 之间更紧密的集成，一些研究聚焦于设计更深层次的模块架构融合，例如将 LLMs 中的变换器层与 GNNs 中的图神经层相结合
- 通过共同训练 GNNs 和 LLMs，可以在图任务中为两个模块带来双向的增益
3.3 基于LLM的图agent
- 构建基于 LLMs 的自主智能体，以处理人类给出的或与研究相关的任
4 LLMs-only
4.1 无需微调的方法
设计 LLMs 能够理解的prompt
4.2 需要微调的方法
将图转换为特定方式的序列，并通过微调方法对齐图 token 序列和自然语言 token 序列