【论文阅读】LLM4GCL: CAN LARGE LANGUAGE MODEL EMPOWER GRAPH CONTRASTIVE LEARNING?

LLM4GCL: CAN LARGE LANGUAGE MODEL EMPOWER GRAPH CONTRASTIVE LEARNING?

https://openreview.net/forum?id=wxClzZdjqP

图对比学习的重点就是图数据的增强,针对图中节点的表示或者图的结构进行扰动,通过对比学习得到对应的节点表示,以便于进行节点分类、连接预测等。

这个工作用LLM提升特征增强和结构增强。

特征增强

Structure-Aware Summarization (SAS)

对于每个节点v,构建一个提示,将锚定节点和其邻居的文本属性(表示为{Sv, SNv})以及调整文本属性的说明结合在一起。
Independent Reasoning (IDR).

对于每个节点v,我们生成一个提示,将锚定节点的文本属性作为输入,并指示LLM预测该节点的类别并提供解释。
Structure-Aware Reasoning (SAR).

对于每个节点v,我们设计了一个提示,其中包含了锚定节点Sv及其邻居SNv的文本属性,以及一个关于节点潜在类别的开放式查询。

结构增强

图结构增强(GSA)。让Nv和 ̄ Nv分别表示节点v的连接和断开连接节点集合。我们查询LLM模型,以预测Nv(或 ̄ Nv)中的节点是否应该与锚定节点v断开连接(或连接)。

对LLM进行微调作为text encoder

使用MLM、TACL、GIANT进行微调

相关推荐
拉达曼迪斯II14 分钟前
谷歌是否做得太过分了
人工智能·搜索引擎·ai·aigc
小言从不摸鱼21 分钟前
【机器学习】决策树------迅速了其基本思想,Sklearn的决策树API及构建决策树的步骤!!!
人工智能·python·决策树·机器学习·sklearn
小陈phd23 分钟前
大模型从入门到精通——基于智谱AI和LangChain实现RAG应用(一)
人工智能·python·langchain
极客小张2 小时前
构建基于I2C与UART通信的智能嵌入式机械臂抓取系统,结合OpenCV技术进行高效物体识别与动作控制的综合解决方案(代码示例)
c++·人工智能·opencv·物联网·计算机视觉·机器人·机械臂
weixin_545032313 小时前
大数据挖掘的步骤是怎样的呢?
人工智能·数据挖掘
牛燕飞8 小时前
海山数据库(He3DB)+AI(二)大模型架构Transformer
人工智能·3d·transformer
晓北斗NorSnow8 小时前
政治经济学、法律经济学、行为经济学、宏观经济学、微观经济学等
大数据·人工智能
robinfang20199 小时前
AI在医学领域:谷歌的HeAR生物声学模型
人工智能·计算机视觉·语言模型·健康医疗·学习方法
从懒虫到爬虫9 小时前
基于YOLOv8的船舶目标检测与分割(ONNX模型)
人工智能·yolo·目标检测
残诗10 小时前
机器人蓝牙通信绕坑
android·c++·人工智能·学习·机器人