What's Behind the Mask: Understanding Masked Graph Modeling for Graph Autoencoders
碎碎念 ：一篇论文看四天，效率也没谁了(捂脸) 看一点忘一点，虽然在本子上有记录，但还是忘，下次看一点在博客上记一点启发
本来很不理解计算机专业为啥还要做实验(以前觉得实验式生物化学物理那种)，其实从这篇论文中可以看到，从实验结果得出来了很多结论，而且实验结果也进一步论证了作者的推理
一定要看附录，附录有时候也有很有用的信息！！
- MaskGAE主要是在理论上分析了为什么设计这样的架构，并且把生成式学习和对比式学习以互信息的视角统一了起来，即都是最大化互信息(公式推的没看明白，只能借助gpt大致理解一下，如果有不对的麻烦大家批评指正)
- 对比学习是最大化正样本对的互信息
- 生成式学习是最大化相邻节点子图的互信息，让模型能够学习到相邻节点间的相似性，使得节点的表征能够更好地反映图的局部结构
- 还从互信息的角度提出了子图重叠问题，导师邻居节点信息一致性，会掩盖细粒度的差异
- 文中提到边信息的冗余对下游任务影响较小，所以掩盖边，让编码器学习到节点信息
- 提出了边掩码和路径掩码，路径掩码是连续掩码一条路(采用随机游走策略)，使其更好学习到全局信息
- 又提出了结构解码器和度解码器，度解码器相当于是对结构解码器的一个约束，限制模型过度依赖单一重构任务，通过度数来补充结构性信息，可以借鉴
- 负边指的节点之间没有连接，正边指的节点之间有连接
- 而且本文提出encoder获得的节点嵌入是把每一层编码器的输出进行拼接得到的嵌入
- 流程图
- 可以借鉴
- 本文中的评估策略可以借鉴，而且那个早停方法防止训练时间过长也挺有意思的
- 在链接预测任务中，提到预训练和下游任务都是进行预测，所以减少了这两个之间的差异性，所以结果较好
- 在节点分类任务中，看到GAE在此任务中比对比学习差很多，说明GAE的泛化能力不行，而且实验结果也表明路径掩码更好
- 掩码策略使得在训练时只是未被掩码的参与训练，故如果是大规模图，也会表现很好
- 在稀疏图上没有稠密图上表现出色，感觉可以是一个研究方向？
- GCN作为encoder编码器比其他GNN模型表现更好