Bandana论文阅读

碎碎念: 读完这个WWW上的论文,我只能说nb,17页,越看越觉得Bandana模型好,而且提出了一种新的评估方法,让那些本来链接预测的结果很好的都下降了好多
最最最重要的一点 :细节决定成败!!!

回顾以前看论文就看的很粗略不记笔记,导致啥也没学到

基本思想

  • Bandana采用了离散带宽的掩码策略,并不是把边看成掩码/不掩码,而是可以看成掩50%的码,把传统的二元01掩码策略变成了连续掩码,实现方法是用邻接矩阵乘以一个遵从玻尔兹曼分布的矩阵(灵感来源于GAT)
  • 而且还对encoder嵌入的每一层都进行了掩码,不同层的掩码矩阵不一样,但最后嵌入表示是最后一层的
  • 重构目标变为了预测带宽,即预测这条边被掩码了多少

论文里没有框架流程图,只有对每一部分进行分析的图

分析现有的存在的问题

从局部和全局性的信息角度进行分析

  • 局部信息:传统的二元掩码不提供邻居的可辨别性,GCN和GAT都不够好
  • 全局信息:二元掩码会阻碍信息的流动
  • 但Bandan的encoder不能用GAT或Transformer,因为他为每条边分配了权重,而GAT就是依靠学习到的边的权重而进行,Transformer里面也有注意力权重
  • 而且Bandana的时空复杂度都挺高的
  • 从各种实验角度证明Bandana的好处,普通的链接预测,节点分类,大规模图上的,半监督学习上的,能量模型,流式学习等等

以后可以用到的

  • 提出了一种新的评估手段,用点积代替了下游任务的解码器,防止解码器训练后对实验结果产生影响,从而无法突出预训练的编码器的好处
  • GAT在给邻居分配权重时相似(?)
  • 拓扑学习不仅可以理解图结构,还能揭示出节点特征的潜在模式
相关推荐
幂简集成8 小时前
通义灵码 AI 程序员低代码 API 课程实战教程
android·人工智能·深度学习·神经网络·低代码·rxjava
Learn Beyond Limits8 小时前
Error metrics for skewed datasets|倾斜数据集的误差指标
大数据·人工智能·python·深度学习·机器学习·ai·吴恩达
我不是小upper8 小时前
一文详解深度学习中神经网络的各层结构与功能!
人工智能·pytorch·深度学习
Niuguangshuo9 小时前
深度学习:Dropout 技术
人工智能·深度学习
LLM精进之路9 小时前
美团发布 | LongCat-Flash最全解读,硬刚GPT-4.1、Kimi!
人工智能·深度学习·机器学习·语言模型·transformer
DatGuy9 小时前
Week 15: 深度学习补遗:集成学习初步
人工智能·深度学习·集成学习
AI 嗯啦10 小时前
深度学习--自然语言预处理--- Word2Vec
人工智能·深度学习·word2vec
甄心爱学习10 小时前
深度学习中模块组合
人工智能·深度学习
wan5555cn10 小时前
AI生成内容的版权问题解析与实操指南
人工智能·笔记·深度学习·算法·音视频
catcfm11 小时前
MiniDrive:面向自动驾驶的更高效的视觉语言模型
人工智能·深度学习·语言模型·自动驾驶