Bandana论文阅读

碎碎念: 读完这个WWW上的论文,我只能说nb,17页,越看越觉得Bandana模型好,而且提出了一种新的评估方法,让那些本来链接预测的结果很好的都下降了好多
最最最重要的一点 :细节决定成败!!!

回顾以前看论文就看的很粗略不记笔记,导致啥也没学到

基本思想

  • Bandana采用了离散带宽的掩码策略,并不是把边看成掩码/不掩码,而是可以看成掩50%的码,把传统的二元01掩码策略变成了连续掩码,实现方法是用邻接矩阵乘以一个遵从玻尔兹曼分布的矩阵(灵感来源于GAT)
  • 而且还对encoder嵌入的每一层都进行了掩码,不同层的掩码矩阵不一样,但最后嵌入表示是最后一层的
  • 重构目标变为了预测带宽,即预测这条边被掩码了多少

论文里没有框架流程图,只有对每一部分进行分析的图

分析现有的存在的问题

从局部和全局性的信息角度进行分析

  • 局部信息:传统的二元掩码不提供邻居的可辨别性,GCN和GAT都不够好
  • 全局信息:二元掩码会阻碍信息的流动
  • 但Bandan的encoder不能用GAT或Transformer,因为他为每条边分配了权重,而GAT就是依靠学习到的边的权重而进行,Transformer里面也有注意力权重
  • 而且Bandana的时空复杂度都挺高的
  • 从各种实验角度证明Bandana的好处,普通的链接预测,节点分类,大规模图上的,半监督学习上的,能量模型,流式学习等等

以后可以用到的

  • 提出了一种新的评估手段,用点积代替了下游任务的解码器,防止解码器训练后对实验结果产生影响,从而无法突出预训练的编码器的好处
  • GAT在给邻居分配权重时相似(?)
  • 拓扑学习不仅可以理解图结构,还能揭示出节点特征的潜在模式
相关推荐
千宇宙航21 分钟前
闲庭信步使用SV搭建图像测试平台:第三十一课——基于神经网络的手写数字识别
图像处理·人工智能·深度学习·神经网络·计算机视觉·fpga开发
onceco1 小时前
领域LLM九讲——第5讲 为什么选择OpenManus而不是QwenAgent(附LLM免费api邀请码)
人工智能·python·深度学习·语言模型·自然语言处理·自动化
天水幼麟1 小时前
动手学深度学习-学习笔记(总)
笔记·深度学习·学习
s1ckrain3 小时前
【论文阅读】DeepEyes: Incentivizing “Thinking with Images” via Reinforcement Learning
论文阅读·强化学习·多模态大模型·vlm
天水幼麟4 小时前
动手学深度学习-学习笔记【二】(基础知识)
笔记·深度学习·学习
强哥之神7 小时前
英伟达发布 Llama Nemotron Nano 4B:专为边缘 AI 和科研任务优化的高效开源推理模型
人工智能·深度学习·语言模型·架构·llm·transformer·边缘计算
陈敬雷-充电了么-CEO兼CTO8 小时前
大模型技术原理 - 基于Transformer的预训练语言模型
人工智能·深度学习·语言模型·自然语言处理·chatgpt·aigc·transformer
旷世奇才李先生9 小时前
Pillow 安装使用教程
深度学习·microsoft·pillow
acstdm12 小时前
DAY 48 CBAM注意力
人工智能·深度学习·机器学习
澪-sl13 小时前
基于CNN的人脸关键点检测
人工智能·深度学习·神经网络·计算机视觉·cnn·视觉检测·卷积神经网络