Bandana论文阅读

碎碎念: 读完这个WWW上的论文,我只能说nb,17页,越看越觉得Bandana模型好,而且提出了一种新的评估方法,让那些本来链接预测的结果很好的都下降了好多
最最最重要的一点 :细节决定成败!!!

回顾以前看论文就看的很粗略不记笔记,导致啥也没学到

基本思想

  • Bandana采用了离散带宽的掩码策略,并不是把边看成掩码/不掩码,而是可以看成掩50%的码,把传统的二元01掩码策略变成了连续掩码,实现方法是用邻接矩阵乘以一个遵从玻尔兹曼分布的矩阵(灵感来源于GAT)
  • 而且还对encoder嵌入的每一层都进行了掩码,不同层的掩码矩阵不一样,但最后嵌入表示是最后一层的
  • 重构目标变为了预测带宽,即预测这条边被掩码了多少

论文里没有框架流程图,只有对每一部分进行分析的图

分析现有的存在的问题

从局部和全局性的信息角度进行分析

  • 局部信息:传统的二元掩码不提供邻居的可辨别性,GCN和GAT都不够好
  • 全局信息:二元掩码会阻碍信息的流动
  • 但Bandan的encoder不能用GAT或Transformer,因为他为每条边分配了权重,而GAT就是依靠学习到的边的权重而进行,Transformer里面也有注意力权重
  • 而且Bandana的时空复杂度都挺高的
  • 从各种实验角度证明Bandana的好处,普通的链接预测,节点分类,大规模图上的,半监督学习上的,能量模型,流式学习等等

以后可以用到的

  • 提出了一种新的评估手段,用点积代替了下游任务的解码器,防止解码器训练后对实验结果产生影响,从而无法突出预训练的编码器的好处
  • GAT在给邻居分配权重时相似(?)
  • 拓扑学习不仅可以理解图结构,还能揭示出节点特征的潜在模式
相关推荐
春末的南方城市1 小时前
AI视频生成进入多镜头叙事时代!字节发布 Waver 1.:一句话生成 10 秒 1080p 多风格视频,创作轻松“一键”达!
人工智能·深度学习·机器学习·计算机视觉·aigc
西猫雷婶2 小时前
pytorch基本运算-torch.normal()函数生成的随机数据添加噪声
人工智能·pytorch·python·深度学习·学习·线性代数·机器学习
Yolo566Q2 小时前
基于PyTorch深度学习遥感影像地物分类与目标检测、分割及遥感影像问题深度学习优化实践技术应用
pytorch·深度学习·分类
红苕稀饭6664 小时前
DynImg论文阅读
论文阅读
0x2114 小时前
[论文阅读]Benchmarking Poisoning Attacks against Retrieval-Augmented Generation
论文阅读
春末的南方城市5 小时前
阿里开源视频修复方法Vivid-VR:以独特策略与架构革新,引领生成视频修复高质量可控新时代。
人工智能·深度学习·机器学习·计算机视觉·aigc
补三补四5 小时前
深度学习激活函数:从 Sigmoid 到 GELU 的演变历程
人工智能·深度学习
强盛小灵通专卖员5 小时前
深度学习中Bootstrap详解
人工智能·深度学习·bootstrap·sci·sci期刊·小论文
hans汉斯7 小时前
【人工智能与机器人研究】一种库坝系统水下成像探查有缆机器人系统设计模式
大数据·数据库·论文阅读·人工智能·设计模式·机器人·论文笔记
진영_8 小时前
深度学习打卡第N7周:调用Gensim库训练Word2Vec模型
人工智能·深度学习·word2vec