【论文阅读】LLM4GCL: CAN LARGE LANGUAGE MODEL EMPOWER GRAPH CONTRASTIVE LEARNING?

LLM4GCL: CAN LARGE LANGUAGE MODEL EMPOWER GRAPH CONTRASTIVE LEARNING?

https://openreview.net/forum?id=wxClzZdjqP

图对比学习的重点就是图数据的增强,针对图中节点的表示或者图的结构进行扰动,通过对比学习得到对应的节点表示,以便于进行节点分类、连接预测等。

这个工作用LLM提升特征增强和结构增强。

特征增强

Structure-Aware Summarization (SAS)

对于每个节点v,构建一个提示,将锚定节点和其邻居的文本属性(表示为{Sv, SNv})以及调整文本属性的说明结合在一起。
Independent Reasoning (IDR).

对于每个节点v,我们生成一个提示,将锚定节点的文本属性作为输入,并指示LLM预测该节点的类别并提供解释。
Structure-Aware Reasoning (SAR).

对于每个节点v,我们设计了一个提示,其中包含了锚定节点Sv及其邻居SNv的文本属性,以及一个关于节点潜在类别的开放式查询。

结构增强

图结构增强(GSA)。让Nv和 ̄ Nv分别表示节点v的连接和断开连接节点集合。我们查询LLM模型,以预测Nv(或 ̄ Nv)中的节点是否应该与锚定节点v断开连接(或连接)。

对LLM进行微调作为text encoder

使用MLM、TACL、GIANT进行微调

相关推荐
m0_748248023 分钟前
基于 C++ 的高性能批量媒体文件压缩程序
c++·人工智能·数据挖掘
刀客Doc10 分钟前
复盘Netflix的2025:广告业务、线下业态和视频播客
人工智能·音视频
爱浦路 IPLOOK12 分钟前
高校实验室建设方案解析:从规划到落地的全流程指南
大数据·人工智能
AI浩21 分钟前
【Block总结】MEEM,多尺度边缘增强模块|即插即用|ACM 2024
人工智能·深度学习
滨HI032 分钟前
opencv 计算面积、周长
人工智能·opencv·计算机视觉
OpenBayes40 分钟前
OCR 新范式!DeepSeek 以「视觉压缩」替代传统字符识别;Bald Classification数据集助力高精度人像分类
人工智能·深度学习·分类·数据挖掘·ocr·数据集·deepseek
亚马逊云开发者41 分钟前
Agentic AI基础设施实践经验系列(四):MCP服务器从本地到云端的部署演进
人工智能
知识搬运工人42 分钟前
深入解析U-Net
人工智能
weixin_4211334143 分钟前
深度强化学习,用神经网络代替 Q-table
人工智能·深度学习·神经网络
lx74160269843 分钟前
面试可能的问题(自用)
人工智能·自然语言处理