HeterGCL 论文写作分析

HeterGCL 论文写作分析

这篇文章,由于理论证明较少,因此写作风格了polygcl是两种风格的。polygcl偏向理论的写作风格,而hetergcl就是实践派的风格

首先看标题,其的重点是Graph contrastive learning Framework。其重点是framework,以及heterophy

摘要

第一句:设定背景 图对比学习效果好

图对比学习(GCL)因其学习稳健节点表示的自我监督能力而引起了研究的广泛关注。

Graph Contrastive Learning (GCL) has attracted significant research attention due to its selfsupervised ability to learn robust node representations.

语法学习:due to A to do be。可以用到(防止千篇一律)

第二句:提出问题 图对比学习在异配图上匮乏

不幸的是,大多数方法主要集中在同嗜图上,这使得它们对异嗜图的效果较差。此外,由于问题背景的不同,因此对比学习的增强方案等需要重新设计

Unfortunately, most methods primarily focus on homophilic graphs, rendering them less effective for heterophilic graphs. In addition, the complexity of node interactions in heterophilic graphs poses considerable challenges to augmentation schemes, coding architectures, and contrastive designs for traditional GCL.

语法学习:render,导致。considerable challenges,相当多的挑战

第三步:引出解决方案 引入结构和语义信息的新型对比学习框架

In this work, we propose HeterGCL, a novel graph contrastive learning framework with structural and semantic learning to explore the true potential of GCL on heterophilic graphs.

在这项工作中,我们提出了HeterGCL,这是一个具有结构和语义学习的新型图对比学习框架,以探索GCL在异性图上的真正潜力。

第四步:具体的做法

Specifically, We abandon the random augmentation scheme that leads to the destruction of the graph structure, instead introduce an adaptive neighbor aggregation strategy (ANA) to extract topology-supervised signals from neighboring nodes at different distances and explore the structural information with an adaptive local-to-global contrastive loss. In the semantic learning module, we jointly consider the original nodes' features and the similarity between nodes in the latent feature space to explore hidden associations between nodes.

介绍了两种结构和语义的具体做法

第五步:广泛的实验证明我们有很高的性能

与polygcl写作手法的对比分析

由于polygcl在有监督方向,光谱GNN已经取得了很不错的进展,因此作者引入了有监督的解决方法。但是,本文作者提出了半监督和有监督的学习框架。如果同时介绍,可能篇幅过长。因此在摘要中没有介绍

引言

首先,设置背景:有监督到无监督

GNN在节点分类上取得很好的性能->遵循同配性假设,他们可以很好的聚集邻居信息->有监督的GNN需要label,但现实世界标签信息匮乏->这驱动了很多图自监督学习的发展,尤其是图对比学习的发展

第二步:对比学习

具体介绍了传统的对比学习是"增强-编码-对比"的框架。以及在异配图上的缺点

去除边或者节点的图增强的缺陷

总分的结构

传统图GCL通过去除边,来进行图增强->缺点1:破坏图潜在的结构信息->缺点2: 删节点相关的边可能阻断传播->举例子,阻断传播->理论和经验分析表明,随机增强保留同配图的低频成分,但是抑制了高频成分

GCL与异配性

总分总结构

GCL的编码和对比模式继承了GNN的同源性假设(限制范围)->现有方法通过同配性去增强,利用结构信息增强(过去的方法)->但是,现实世界的图经常展现出异配性,限制了应用->GCL在异配图的潜力未被探索

第三步:提出方法:

分析了图的异配性,发现异配图的节点有复杂的作用->提出新的对比框架->(什么样的框架呢)结构和语义信息以及具体介绍->我们的方法好啊

第四步:贡献

  1. 我们介绍了传统GCL用于异配图的局限性
  2. 提出新的对比学习框架
  3. 广泛实验表明,我们是sota

相关工作

Graph Neural Network Meet Heterophy

  1. 大部分GNN采用来促进传播
  2. 不幸的是,GNN不适用于异配图(同类节点不相连)
  3. 异配图的GNN有了进展
  4. 其仍需要有监督的标记(适用于有监督)

图自监督学习

  1. 自监督取得了很多的成功
  2. 早起的采用了随机游走等策略
  3. GCL出来了,有了更大的成功(介绍了传统GCL方法,这部分重点写了)
  4. GCL的缺点(重点介绍)(因为这部分是创新点)

定义和背景介绍

分为Notation和Problem Difinition

方法部分

其与polygcl对比,写的就很详细了

尝试对对比学习这部分做个总结

这些论文一般都成了套路。个人觉得分四步走:

  1. 介绍有监督
  2. 有监督的方法(但是缺少标签)
  3. 很自然,引入无监督
  4. 无监督的缺点
  5. 异配图

相关推荐
mumukehao2 个月前
SSGNN: SIMPLE YET EFFECTIVE SPECTRAL GRAPH NEURAL NETWORK
异配图
mumukehao2 个月前
GGD证明推导学习
对比学习
mumukehao2 个月前
Graph Contrastive Learningwith Reinforcement Augmentation
图神经网络·对比学习
mumukehao3 个月前
Rethinking Graph Neural Networksfor Anomaly Detection
异常检测·异配图
Phoenixtree_DongZhao4 个月前
Img-Diff: 多模态大型语言模型的对比数据合成
大模型·对比学习
羞儿5 个月前
【读点论文】All-In-One Image Restoration for Unknown Corruption用对比学习统一方法实现多种噪声图片的有效处理
深度学习·计算机视觉·对比学习·图像恢复
hitrjj1 年前
【AI视野·今日NLP 自然语言处理论文速览 第七十二期】Mon, 8 Jan 2024
自然语言处理·llm·数据集·大语言模型·文本生成·对比学习·文本摘要
深度之眼1 年前
对比学习15篇顶会论文及代码合集,2023最新
机器学习·对比学习
jieHeEternity1 年前
一文解释对比学习
人工智能·机器学习·对比学习·数据增广·编码器解码器