论文阅读——VSA

VSA: Learning Varied-Size Window Attention in Vision Transformers

方法:

给定输入特征X,VSA首先按照基线方法的例程,将这些标记划分为几个窗口Xw,窗口大小为预定义的w。我们将这些窗口称为默认窗口,并从默认窗口中获取查询:

为了估计每个默认窗口的目标窗口大小和位置,VSA将默认窗口的大小和位置作为参考,并采用可变大小窗口回归(VSR)模块来预测参考的规模和偏移,如图3(b)所示。VSR模块由平均池化层、LeakyReLU激活层和步长为1的1×1卷积层组成。池化层的内核大小和步长遵循默认窗口大小。

其中Sw和Ow∈R2×N表示相对于默认窗口位置的水平和垂直方向上的估计尺度和偏移,独立于N个注意力头。生成的窗口称为目标窗口。

我们首先从特征图X中得到

然后VSA模块分别从K,V上的每个不同大小的窗口中均匀地采样M个特征,并获得作为查询tokens Qw的key/value tokens。为了将计算成本保持为窗口注意力,我们将M设置为w×w。然后将采样的与用于注意力计算的查询Qw一起馈送到MHSA中。然而,由于key/value tokens是从不同位置采样的,查询tokens,因此query 和 key tokens之间的相对位置嵌入可能无法很好地描述空间关系。遵循CPVT,我们在MHSA层之前采用条件位置嵌入(CPE)将空间关系提供到模型中,如图3(c)所示,即

其中,Z l−1是来自前一个变换器块的特征,CP E由深度卷积层实现,其内核大小等于窗口大小,即默认情况下为7×7,步长为1。

实验结果:

相关推荐
大千AI助手2 分钟前
GELU(高斯误差线性单元)激活函数全面解析
人工智能·深度学习·神经网络·激活函数·正态分布·gelu·高斯误差线性单元
孤独野指针*P12 分钟前
面向边缘AI视觉系统的低成本硬件方案
人工智能
RAG专家42 分钟前
【ReAcTable】面向表格问答任务的ReAct增强框架
人工智能·语言模型·表格问答·表格理解
文火冰糖的硅基工坊1 小时前
[人工智能-大模型-51]:Transformer、大模型、Copilot、具身智能、多模态、空间智能、世界模型,什么意思,它们不同点和联系
人工智能·transformer·copilot
彩云回1 小时前
LOESS回归
人工智能·机器学习·回归·1024程序员节
加油吧zkf1 小时前
生成式对抗网络 GAN:从零理解生成对抗网络的原理与魅力
人工智能·python·gan
算家计算1 小时前
云计算大佬揭秘AI如何改变程序员未来,这些技能将成关键
人工智能·程序员·云计算
Ai173163915791 小时前
英伟达RTX 6000 Ada 和L40S 对比,哪个更适合做深度学习?
图像处理·人工智能·gpt·深度学习·神经网络·机器学习·电脑
机器之心1 小时前
死磕「文本智能」,多模态研究的下一个前沿
人工智能·openai
文火冰糖的硅基工坊1 小时前
[人工智能-大模型-58]:模型层技术 - 深度神经网络的本质是一个复杂的复合数学函数
人工智能·神经网络·算法·dnn