【论文阅读】LLM4GCL: CAN LARGE LANGUAGE MODEL EMPOWER GRAPH CONTRASTIVE LEARNING?

LLM4GCL: CAN LARGE LANGUAGE MODEL EMPOWER GRAPH CONTRASTIVE LEARNING?

https://openreview.net/forum?id=wxClzZdjqP

图对比学习的重点就是图数据的增强,针对图中节点的表示或者图的结构进行扰动,通过对比学习得到对应的节点表示,以便于进行节点分类、连接预测等。

这个工作用LLM提升特征增强和结构增强。

特征增强

Structure-Aware Summarization (SAS)

对于每个节点v,构建一个提示,将锚定节点和其邻居的文本属性(表示为{Sv, SNv})以及调整文本属性的说明结合在一起。
Independent Reasoning (IDR).

对于每个节点v,我们生成一个提示,将锚定节点的文本属性作为输入,并指示LLM预测该节点的类别并提供解释。
Structure-Aware Reasoning (SAR).

对于每个节点v,我们设计了一个提示,其中包含了锚定节点Sv及其邻居SNv的文本属性,以及一个关于节点潜在类别的开放式查询。

结构增强

图结构增强(GSA)。让Nv和 ̄ Nv分别表示节点v的连接和断开连接节点集合。我们查询LLM模型,以预测Nv(或 ̄ Nv)中的节点是否应该与锚定节点v断开连接(或连接)。

对LLM进行微调作为text encoder

使用MLM、TACL、GIANT进行微调

相关推荐
闻道且行之5 分钟前
TurboOCR:基于PP-OCRv6的极速Windows离线OCR工具,深度解析3.4GB依赖背后的技术架构
c++·人工智能·python·qt·机器学习·ocr
We0 AI7 分钟前
2026 年的 B2B 官网竞争,已经不只是页面竞争了
人工智能·aigc·#ai建站
冬奇Lab37 分钟前
每日一个开源项目(第160篇):Destructive Command Guard - 在 AI Agent 运行 rm -rf 之前拦截它
人工智能·安全·开源
IvorySQL41 分钟前
PG 日报|SQL/PGQ 图查询基于联接重写机制实现
数据库·人工智能·sql·postgresql·区块链·ivorysql
博图光电1 小时前
博图汽车零配件视觉检测与测量解决方案
人工智能·汽车·视觉检测
仿生狮子1 小时前
别再说“全栈”了,AI 时代团队只认这 5 种人
前端·人工智能·后端
乒乓狂魔2 小时前
SkyWalking 也能 AI 智能化了
人工智能·skywalking
满怀冰雪2 小时前
03-第一个 Paddle 程序:Tensor 创建、计算与设备管理
人工智能·python·paddle
Maynor9962 小时前
AI Coding 零基础实战教程|第七部分:Codex Desktop 安装和使用教程
人工智能·ai编程·codex·claude code·ai coding