【论文阅读】LLM4GCL: CAN LARGE LANGUAGE MODEL EMPOWER GRAPH CONTRASTIVE LEARNING?

LLM4GCL: CAN LARGE LANGUAGE MODEL EMPOWER GRAPH CONTRASTIVE LEARNING?

https://openreview.net/forum?id=wxClzZdjqP

图对比学习的重点就是图数据的增强,针对图中节点的表示或者图的结构进行扰动,通过对比学习得到对应的节点表示,以便于进行节点分类、连接预测等。

这个工作用LLM提升特征增强和结构增强。

特征增强

Structure-Aware Summarization (SAS)

对于每个节点v,构建一个提示,将锚定节点和其邻居的文本属性(表示为{Sv, SNv})以及调整文本属性的说明结合在一起。
Independent Reasoning (IDR).

对于每个节点v,我们生成一个提示,将锚定节点的文本属性作为输入,并指示LLM预测该节点的类别并提供解释。
Structure-Aware Reasoning (SAR).

对于每个节点v,我们设计了一个提示,其中包含了锚定节点Sv及其邻居SNv的文本属性,以及一个关于节点潜在类别的开放式查询。

结构增强

图结构增强(GSA)。让Nv和 ̄ Nv分别表示节点v的连接和断开连接节点集合。我们查询LLM模型,以预测Nv(或 ̄ Nv)中的节点是否应该与锚定节点v断开连接(或连接)。

对LLM进行微调作为text encoder

使用MLM、TACL、GIANT进行微调

相关推荐
Moshow郑锴5 小时前
人工智能中的(特征选择)数据过滤方法和包裹方法
人工智能
TY-20255 小时前
【CV 目标检测】Fast RCNN模型①——与R-CNN区别
人工智能·目标检测·目标跟踪·cnn
CareyWYR6 小时前
苹果芯片Mac使用Docker部署MinerU api服务
人工智能
失散137 小时前
自然语言处理——02 文本预处理(下)
人工智能·自然语言处理
mit6.8247 小时前
[1Prompt1Story] 滑动窗口机制 | 图像生成管线 | VAE变分自编码器 | UNet去噪神经网络
人工智能·python
sinat_286945197 小时前
AI应用安全 - Prompt注入攻击
人工智能·安全·prompt
迈火8 小时前
ComfyUI-3D-Pack:3D创作的AI神器
人工智能·gpt·3d·ai·stable diffusion·aigc·midjourney
Moshow郑锴9 小时前
机器学习的特征工程(特征构造、特征选择、特征转换和特征提取)详解
人工智能·机器学习
CareyWYR10 小时前
每周AI论文速递(250811-250815)
人工智能
AI精钢10 小时前
H20芯片与中国的科技自立:一场隐形的博弈
人工智能·科技·stm32·单片机·物联网