MaskGAE论文阅读

What's Behind the Mask: Understanding Masked Graph Modeling for Graph Autoencoders

碎碎念 :一篇论文看四天,效率也没谁了(捂脸) 看一点忘一点,虽然在本子上有记录,但还是忘,下次看一点在博客上记一点启发

本来很不理解计算机专业为啥还要做实验(以前觉得实验式生物化学物理那种),其实从这篇论文中可以看到,从实验结果得出来了很多结论,而且实验结果也进一步论证了作者的推理

一定要看附录,附录有时候也有很有用的信息!!

  • MaskGAE主要是在理论上分析了为什么设计这样的架构,并且把生成式学习和对比式学习以互信息的视角统一了起来,即都是最大化互信息(公式推的没看明白,只能借助gpt大致理解一下,如果有不对的麻烦大家批评指正)
    • 对比学习是最大化正样本对的互信息
    • 生成式学习是最大化相邻节点子图的互信息,让模型能够学习到相邻节点间的相似性,使得节点的表征能够更好地反映图的局部结构
  • 还从互信息的角度提出了子图重叠问题,导师邻居节点信息一致性,会掩盖细粒度的差异
  • 文中提到边信息的冗余对下游任务影响较小,所以掩盖边,让编码器学习到节点信息
  • 提出了边掩码和路径掩码,路径掩码是连续掩码一条路(采用随机游走策略),使其更好学习到全局信息
  • 又提出了结构解码器和度解码器,度解码器相当于是对结构解码器的一个约束,限制模型过度依赖单一重构任务,通过度数来补充结构性信息,可以借鉴
  • 负边指的节点之间没有连接,正边指的节点之间有连接
  • 而且本文提出encoder获得的节点嵌入是把每一层编码器的输出进行拼接得到的嵌入
  • 流程图
  • 可以借鉴
    • 本文中的评估策略可以借鉴,而且那个早停方法防止训练时间过长也挺有意思的
    • 在链接预测任务中,提到预训练和下游任务都是进行预测,所以减少了这两个之间的差异性,所以结果较好
    • 在节点分类任务中,看到GAE在此任务中比对比学习差很多,说明GAE的泛化能力不行,而且实验结果也表明路径掩码更好
    • 掩码策略使得在训练时只是未被掩码的参与训练,故如果是大规模图,也会表现很好
    • 在稀疏图上没有稠密图上表现出色,感觉可以是一个研究方向?
    • GCN作为encoder编码器比其他GNN模型表现更好
相关推荐
天树星智源5 天前
记忆该记「赔率跳变」:机器人长时程十连任务,事件记忆 88.0%,删掉失败记录只剩 1.7%
论文阅读·人工智能·机器人
XLYcmy5 天前
ASR 识别任务:两篇论文阅读分析与系统方案技术报告 当前报告的建议和改进方向
论文阅读·论文笔记·token·commit·asr·论文分享·tokenizer
XLYcmy7 天前
ASR 识别任务:两篇论文阅读分析与系统方案技术报告 当前报告不足
论文阅读·论文笔记·token·cuda·asr·论文分享·tokenizer
feasibility.8 天前
LeCun团队世界模型JEPA首登无人机:9K参数模型,零样本Sim-to-Real飞入100Hz闭环
论文阅读·嵌入式·无人机·具身智能·世界模型·杨立昆·jpea
XLYcmy8 天前
ASR识别任务两篇论文阅读分析与系统方案技术报告 上
论文阅读·ai·gpu·asr·论文分享·speechbrain·wespeaker
Zucker n9 天前
文献发现、课题组织与证据可追溯的论文阅读。
论文阅读·windows·ubuntu
西柚小萌新9 天前
【论文阅读】--可信LLM智能体的威胁与对策 综述
论文阅读
Rocky Ding*9 天前
【三年面试五年模拟】2026-11-05_月之暗面大模型算法岗一面、二面面经全解析
论文阅读·人工智能·深度学习·机器学习·aigc·强化学习·ai-native
Rocky Ding*11 天前
REPA-E技术深度解析:解冻 VAE 之后,扩散模型为什么需要选择梯度
论文阅读·人工智能·深度学习·机器学习·aigc·ai-native·repa-e
Rocky Ding*12 天前
【三年面试五年模拟】2026-11-01_字节跳动AI Agent全栈研发一面面经全解析
论文阅读·人工智能·深度学习·机器学习·aigc·ai-native·ai agent