Bandana论文阅读

碎碎念: 读完这个WWW上的论文,我只能说nb,17页,越看越觉得Bandana模型好,而且提出了一种新的评估方法,让那些本来链接预测的结果很好的都下降了好多
最最最重要的一点 :细节决定成败!!!

回顾以前看论文就看的很粗略不记笔记,导致啥也没学到

基本思想

  • Bandana采用了离散带宽的掩码策略,并不是把边看成掩码/不掩码,而是可以看成掩50%的码,把传统的二元01掩码策略变成了连续掩码,实现方法是用邻接矩阵乘以一个遵从玻尔兹曼分布的矩阵(灵感来源于GAT)
  • 而且还对encoder嵌入的每一层都进行了掩码,不同层的掩码矩阵不一样,但最后嵌入表示是最后一层的
  • 重构目标变为了预测带宽,即预测这条边被掩码了多少

论文里没有框架流程图,只有对每一部分进行分析的图

分析现有的存在的问题

从局部和全局性的信息角度进行分析

  • 局部信息:传统的二元掩码不提供邻居的可辨别性,GCN和GAT都不够好
  • 全局信息:二元掩码会阻碍信息的流动
  • 但Bandan的encoder不能用GAT或Transformer,因为他为每条边分配了权重,而GAT就是依靠学习到的边的权重而进行,Transformer里面也有注意力权重
  • 而且Bandana的时空复杂度都挺高的
  • 从各种实验角度证明Bandana的好处,普通的链接预测,节点分类,大规模图上的,半监督学习上的,能量模型,流式学习等等

以后可以用到的

  • 提出了一种新的评估手段,用点积代替了下游任务的解码器,防止解码器训练后对实验结果产生影响,从而无法突出预训练的编码器的好处
  • GAT在给邻居分配权重时相似(?)
  • 拓扑学习不仅可以理解图结构,还能揭示出节点特征的潜在模式
相关推荐
进取星辰3 分钟前
PyTorch 深度学习实战(39):归一化技术对比(BN/LN/IN/GN)
人工智能·pytorch·深度学习
摸鱼小能手~1 小时前
TextCNN 模型文本分类实战:深度学习在自然语言处理中的应用
深度学习·自然语言处理·分类
WeEvolve1 小时前
从Cline原理看AI Agent设计的一般范式
深度学习
埃菲尔铁塔_CV算法1 小时前
YOLO 模型的深度剖析及其在生物医药领域的创新应用
深度学习·神经网络·yolo·目标检测·计算机视觉
硅谷秋水3 小时前
UniOcc:自动驾驶占用预测和预报的统一基准
人工智能·深度学习·机器学习·计算机视觉·自动驾驶
潦草通信狗3 小时前
Joint communication and state sensing under logarithmic loss
人工智能·深度学习·算法·机器学习·信号处理·信息论·通信感知一体化
程序员非鱼4 小时前
(2025最新版)CUDA安装及环境配置
人工智能·深度学习·神经网络·cuda
蹦蹦跳跳真可爱5896 小时前
Python----深度学习(神经网络的过拟合解决方案)
pytorch·python·深度学习·神经网络
nenchoumi31196 小时前
LLM 论文精读(二)Training Compute-Optimal Large Language Models
论文阅读·人工智能·笔记·学习·语言模型·自然语言处理
carpell8 小时前
小白也能行【手撕ResNet代码篇(附代码)】:详解可复现
人工智能·深度学习·计算机视觉