Bandana论文阅读

碎碎念: 读完这个WWW上的论文,我只能说nb,17页,越看越觉得Bandana模型好,而且提出了一种新的评估方法,让那些本来链接预测的结果很好的都下降了好多
最最最重要的一点 :细节决定成败!!!

回顾以前看论文就看的很粗略不记笔记,导致啥也没学到

基本思想

  • Bandana采用了离散带宽的掩码策略,并不是把边看成掩码/不掩码,而是可以看成掩50%的码,把传统的二元01掩码策略变成了连续掩码,实现方法是用邻接矩阵乘以一个遵从玻尔兹曼分布的矩阵(灵感来源于GAT)
  • 而且还对encoder嵌入的每一层都进行了掩码,不同层的掩码矩阵不一样,但最后嵌入表示是最后一层的
  • 重构目标变为了预测带宽,即预测这条边被掩码了多少

论文里没有框架流程图,只有对每一部分进行分析的图

分析现有的存在的问题

从局部和全局性的信息角度进行分析

  • 局部信息:传统的二元掩码不提供邻居的可辨别性,GCN和GAT都不够好
  • 全局信息:二元掩码会阻碍信息的流动
  • 但Bandan的encoder不能用GAT或Transformer,因为他为每条边分配了权重,而GAT就是依靠学习到的边的权重而进行,Transformer里面也有注意力权重
  • 而且Bandana的时空复杂度都挺高的
  • 从各种实验角度证明Bandana的好处,普通的链接预测,节点分类,大规模图上的,半监督学习上的,能量模型,流式学习等等

以后可以用到的

  • 提出了一种新的评估手段,用点积代替了下游任务的解码器,防止解码器训练后对实验结果产生影响,从而无法突出预训练的编码器的好处
  • GAT在给邻居分配权重时相似(?)
  • 拓扑学习不仅可以理解图结构,还能揭示出节点特征的潜在模式
相关推荐
AI街潜水的八角2 分钟前
深度学习图像分类数据集—蘑菇识别分类
人工智能·深度学习·分类
蹦蹦跳跳真可爱5891 小时前
Python----循环神经网络(Transformer ----注意力机制)
人工智能·深度学习·nlp·transformer·循环神经网络
千宇宙航6 小时前
闲庭信步使用SV搭建图像测试平台:第三十一课——基于神经网络的手写数字识别
图像处理·人工智能·深度学习·神经网络·计算机视觉·fpga开发
onceco7 小时前
领域LLM九讲——第5讲 为什么选择OpenManus而不是QwenAgent(附LLM免费api邀请码)
人工智能·python·深度学习·语言模型·自然语言处理·自动化
天水幼麟7 小时前
动手学深度学习-学习笔记(总)
笔记·深度学习·学习
s1ckrain9 小时前
【论文阅读】DeepEyes: Incentivizing “Thinking with Images” via Reinforcement Learning
论文阅读·强化学习·多模态大模型·vlm
天水幼麟10 小时前
动手学深度学习-学习笔记【二】(基础知识)
笔记·深度学习·学习
强哥之神13 小时前
英伟达发布 Llama Nemotron Nano 4B:专为边缘 AI 和科研任务优化的高效开源推理模型
人工智能·深度学习·语言模型·架构·llm·transformer·边缘计算
陈敬雷-充电了么-CEO兼CTO14 小时前
大模型技术原理 - 基于Transformer的预训练语言模型
人工智能·深度学习·语言模型·自然语言处理·chatgpt·aigc·transformer
旷世奇才李先生15 小时前
Pillow 安装使用教程
深度学习·microsoft·pillow