MaskGAE论文阅读

What's Behind the Mask: Understanding Masked Graph Modeling for Graph Autoencoders

碎碎念 :一篇论文看四天,效率也没谁了(捂脸) 看一点忘一点,虽然在本子上有记录,但还是忘,下次看一点在博客上记一点启发

本来很不理解计算机专业为啥还要做实验(以前觉得实验式生物化学物理那种),其实从这篇论文中可以看到,从实验结果得出来了很多结论,而且实验结果也进一步论证了作者的推理

一定要看附录,附录有时候也有很有用的信息!!

  • MaskGAE主要是在理论上分析了为什么设计这样的架构,并且把生成式学习和对比式学习以互信息的视角统一了起来,即都是最大化互信息(公式推的没看明白,只能借助gpt大致理解一下,如果有不对的麻烦大家批评指正)
    • 对比学习是最大化正样本对的互信息
    • 生成式学习是最大化相邻节点子图的互信息,让模型能够学习到相邻节点间的相似性,使得节点的表征能够更好地反映图的局部结构
  • 还从互信息的角度提出了子图重叠问题,导师邻居节点信息一致性,会掩盖细粒度的差异
  • 文中提到边信息的冗余对下游任务影响较小,所以掩盖边,让编码器学习到节点信息
  • 提出了边掩码和路径掩码,路径掩码是连续掩码一条路(采用随机游走策略),使其更好学习到全局信息
  • 又提出了结构解码器和度解码器,度解码器相当于是对结构解码器的一个约束,限制模型过度依赖单一重构任务,通过度数来补充结构性信息,可以借鉴
  • 负边指的节点之间没有连接,正边指的节点之间有连接
  • 而且本文提出encoder获得的节点嵌入是把每一层编码器的输出进行拼接得到的嵌入
  • 流程图
  • 可以借鉴
    • 本文中的评估策略可以借鉴,而且那个早停方法防止训练时间过长也挺有意思的
    • 在链接预测任务中,提到预训练和下游任务都是进行预测,所以减少了这两个之间的差异性,所以结果较好
    • 在节点分类任务中,看到GAE在此任务中比对比学习差很多,说明GAE的泛化能力不行,而且实验结果也表明路径掩码更好
    • 掩码策略使得在训练时只是未被掩码的参与训练,故如果是大规模图,也会表现很好
    • 在稀疏图上没有稠密图上表现出色,感觉可以是一个研究方向?
    • GCN作为encoder编码器比其他GNN模型表现更好
相关推荐
钟屿10 小时前
Multiscale Structure Guided Diffusion for Image Deblurring 论文阅读
论文阅读·图像处理·人工智能·深度学习·计算机视觉
张较瘦_11 小时前
[论文阅读] 人工智能 + 软件工程 | NoCode-bench:评估LLM无代码功能添加能力的新基准
论文阅读·人工智能·软件工程
莫彩1 天前
【大模型论文阅读】2503.01821_On the Power of Context-Enhanced Learning in LLMs
论文阅读·人工智能·语言模型
王上上1 天前
【论文阅读51】-CNN-LSTM-安全系数和失效概率预测
论文阅读·cnn·lstm
有Li1 天前
弹性网:基于神经网络的多组分磁共振弹性成像波反演与不确定性量化|文献速递-医学影像算法文献分享
论文阅读·医学生
妙BOOK言2 天前
FalconFS: Distributed File System for Large-Scale Deep Learning Pipeline——论文阅读
论文阅读·元数据·分布式文件系统
2301_803652742 天前
PPO原论文阅读
论文阅读
北京地铁1号线2 天前
YOLO12论文阅读:Attention-Centric Real-Time Object Detectors
论文阅读·yolo·目标检测
张较瘦_3 天前
[论文阅读] 人工智能 + 软件工程 | 从OpenAPI到MCP服务器:AutoMCP如何让LLM工具集成自动化?
服务器·论文阅读·人工智能
锅挤3 天前
论文阅读--《Besting the Black-Box: Barrier Zones for Adversarial Example Defense》
论文阅读