【论文阅读】LLM4GCL: CAN LARGE LANGUAGE MODEL EMPOWER GRAPH CONTRASTIVE LEARNING?

LLM4GCL: CAN LARGE LANGUAGE MODEL EMPOWER GRAPH CONTRASTIVE LEARNING?

https://openreview.net/forum?id=wxClzZdjqP

图对比学习的重点就是图数据的增强,针对图中节点的表示或者图的结构进行扰动,通过对比学习得到对应的节点表示,以便于进行节点分类、连接预测等。

这个工作用LLM提升特征增强和结构增强。

特征增强

Structure-Aware Summarization (SAS)

对于每个节点v,构建一个提示,将锚定节点和其邻居的文本属性(表示为{Sv, SNv})以及调整文本属性的说明结合在一起。
Independent Reasoning (IDR).

对于每个节点v,我们生成一个提示,将锚定节点的文本属性作为输入,并指示LLM预测该节点的类别并提供解释。
Structure-Aware Reasoning (SAR).

对于每个节点v,我们设计了一个提示,其中包含了锚定节点Sv及其邻居SNv的文本属性,以及一个关于节点潜在类别的开放式查询。

结构增强

图结构增强(GSA)。让Nv和 ̄ Nv分别表示节点v的连接和断开连接节点集合。我们查询LLM模型,以预测Nv(或 ̄ Nv)中的节点是否应该与锚定节点v断开连接(或连接)。

对LLM进行微调作为text encoder

使用MLM、TACL、GIANT进行微调

相关推荐
HuggingFace37 分钟前
HF Papers 直播| AI for Science 专场
人工智能
机器视觉与AI41 分钟前
半导体制造流程深度解析:外观缺陷检测的AI化路径与实践
人工智能·视觉检测·制造
批量小王子3 小时前
2025-07-15通过边缘线检测图像里的主体有没有出血
人工智能·opencv·计算机视觉
zyhomepage4 小时前
科技的成就(六十九)
开发语言·网络·人工智能·科技·内容运营
停走的风4 小时前
(李宏毅)deep learning(五)--learning rate
人工智能·深度学习·机器学习
fishjar1004 小时前
LLaMA-Factory安装部署
人工智能·深度学习
feifeikon4 小时前
模型篇(Bert llama deepseek)
人工智能·深度学习·自然语言处理
IoT砖家涂拉拉5 小时前
萌宠语聊新模板!借助On-App AI降噪与音频处理技术,远程安抚宠物更轻松、更安心!
人工智能·ai·app·音视频·智能家居·智能硬件·宠物
马里马里奥-5 小时前
OpenVINO initialization error: Failed to find plugins.xml file
人工智能·openvino
Teamhelper_AR5 小时前
AR+AI:工业设备故障诊断的“秒级响应”革命
人工智能·ar