【论文阅读】LLM4GCL: CAN LARGE LANGUAGE MODEL EMPOWER GRAPH CONTRASTIVE LEARNING?

LLM4GCL: CAN LARGE LANGUAGE MODEL EMPOWER GRAPH CONTRASTIVE LEARNING?

https://openreview.net/forum?id=wxClzZdjqP

图对比学习的重点就是图数据的增强,针对图中节点的表示或者图的结构进行扰动,通过对比学习得到对应的节点表示,以便于进行节点分类、连接预测等。

这个工作用LLM提升特征增强和结构增强。

特征增强

Structure-Aware Summarization (SAS)

对于每个节点v,构建一个提示,将锚定节点和其邻居的文本属性(表示为{Sv, SNv})以及调整文本属性的说明结合在一起。
Independent Reasoning (IDR).

对于每个节点v,我们生成一个提示,将锚定节点的文本属性作为输入,并指示LLM预测该节点的类别并提供解释。
Structure-Aware Reasoning (SAR).

对于每个节点v,我们设计了一个提示,其中包含了锚定节点Sv及其邻居SNv的文本属性,以及一个关于节点潜在类别的开放式查询。

结构增强

图结构增强(GSA)。让Nv和 ̄ Nv分别表示节点v的连接和断开连接节点集合。我们查询LLM模型,以预测Nv(或 ̄ Nv)中的节点是否应该与锚定节点v断开连接(或连接)。

对LLM进行微调作为text encoder

使用MLM、TACL、GIANT进行微调

相关推荐
一个处女座的程序猿2 小时前
AI之Agent之VibeCoding:《Vibe Coding Kills Open Source》翻译与解读
人工智能·开源·vibecoding·氛围编程
Jay Kay2 小时前
GVPO:Group Variance Policy Optimization
人工智能·算法·机器学习
风指引着方向2 小时前
归约操作优化:ops-math 的 Sum/Mean/Max 实现
人工智能·wpf
机器之心2 小时前
英伟达世界模型再进化,一个模型驱动所有机器人!机器人的GPT时刻真正到来
人工智能·openai
纯爱掌门人2 小时前
终焉轮回里,藏着 AI 与人类的答案
前端·人工智能·aigc
人工智能AI技术3 小时前
Transformer:大模型的“万能骨架”
人工智能
uesowys3 小时前
Apache Spark算法开发指导-Factorization machines classifier
人工智能·算法
人工智能AI技术3 小时前
预训练+微调:大模型的“九年义务教育+专项补课”
人工智能
aircrushin4 小时前
中国多模态大模型历史性突破:智源Emu3自回归统一范式技术深度解读
人工智能
Lsx_4 小时前
前端视角下认识 AI Agent 和 LangChain
前端·人工智能·agent