【论文阅读】LLM4GCL: CAN LARGE LANGUAGE MODEL EMPOWER GRAPH CONTRASTIVE LEARNING?

LLM4GCL: CAN LARGE LANGUAGE MODEL EMPOWER GRAPH CONTRASTIVE LEARNING?

https://openreview.net/forum?id=wxClzZdjqP

图对比学习的重点就是图数据的增强,针对图中节点的表示或者图的结构进行扰动,通过对比学习得到对应的节点表示,以便于进行节点分类、连接预测等。

这个工作用LLM提升特征增强和结构增强。

特征增强

Structure-Aware Summarization (SAS)

对于每个节点v,构建一个提示,将锚定节点和其邻居的文本属性(表示为{Sv, SNv})以及调整文本属性的说明结合在一起。
Independent Reasoning (IDR).

对于每个节点v,我们生成一个提示,将锚定节点的文本属性作为输入,并指示LLM预测该节点的类别并提供解释。
Structure-Aware Reasoning (SAR).

对于每个节点v,我们设计了一个提示,其中包含了锚定节点Sv及其邻居SNv的文本属性,以及一个关于节点潜在类别的开放式查询。

结构增强

图结构增强(GSA)。让Nv和 ̄ Nv分别表示节点v的连接和断开连接节点集合。我们查询LLM模型,以预测Nv(或 ̄ Nv)中的节点是否应该与锚定节点v断开连接(或连接)。

对LLM进行微调作为text encoder

使用MLM、TACL、GIANT进行微调

相关推荐
西西阿西哥12 分钟前
【人工智障生成日记1】从零开始训练本地小语言模型
人工智能·语言模型·自然语言处理
李昊哲小课15 分钟前
matplotlib基本绘图
人工智能·数据分析·matplotlib·数据可视化·pyecharts·seaborn
钟屿28 分钟前
LIEDNet: A Lightweight Network for Low-light Enhancement and Deblurring论文阅读
论文阅读·图像处理·人工智能·深度学习
山顶望月川30 分钟前
集群、容器云与裸金属服务器的全面对比分析
人工智能·深度学习·机器学习
强盛小灵通专卖员35 分钟前
DL00912-基于自监督深度聚类的高光谱目标检测含数据集
人工智能·计算机视觉·目标跟踪
jerry60943 分钟前
LLM笔记(十)vLLM(1)PagedAttention论文笔记
论文阅读·人工智能·笔记·深度学习·学习·transformer
崔高杰1 小时前
提升推理能力会丢失指令跟随的能力?——【论文阅读笔记】
论文阅读·笔记
wswlqsss1 小时前
第三十四天打卡
人工智能
菲路普科技1 小时前
作业过程管控——看安全生产信息化平台全方位解决方案
大数据·人工智能
脚踏实地的大梦想家1 小时前
【ICL】上下文学习
语言模型·大模型·prompt·提示词·上下文学习·提示词工程·icl