(arxiv2411) CARE Transformer

作者提出了两个问题,问题 1:堆叠是充分利用局部归纳偏差和长距离信息优势的最佳方法吗?

问题 2:是否有可能同时提高线性视觉 Transformer 的效率和准确性?

为了解决这两个问题,作者提出了一种 deCoupled duAl-interactive lineaR attEntion(CARE)。对于问题 1,asymmetrical decoupling strategy可以充分释放线性注意力的潜力。如图 2(b)所示,通过在通道维度上对特征进行解耦,输入无需经过所有的卷积和线性注意力操作。对于问题2,为了充分利用特征的互补性,首先设计了一个动态记忆单元保留关键信息。然后,引入了一个dual interaction module,有效地促进局部偏差和长距离依赖之间以及不同层特征之间的交互。非对称解耦策略节省了学习局部归纳偏差和全局信息的计算成本,而跨特征交互可以灵活有效地利用所学特征中的信息。

模型的总体框架如下图所示,分为四个阶段,每个阶段里有若干 CARE block堆叠。在 CARE block里,首先进行特征的 asymmetrical decoupling,即将输入特征从通道维度分为两部分,一部分进行线性注意力计算,另一部分进行卷积运算。然后特征输入到 dual interaction module 处理,细节如下图所示。在第二次 interaction 里,引入了Z,也就是动态记忆单元。

这个工作在前面重点介绍了"Demystify Mamba in Vision: A Linear Attention Perspective"中提出的MILA,说在该工作中 Linear attention 和 卷积 被堆叠。因此,作者想法是将二两进行不对称解耦。我比较好奇用于 linear attention 和 卷积 两部分的特征比例是如何设置的,也许是我看不够仔细,论文里貌似没有介绍。

相关推荐
ARM2NCWU11 分钟前
关联具体场景(如AI、智慧城市),强调部署效率
服务器·人工智能·智慧城市
塔能物联运维17 分钟前
解析塔能科技:绿色低碳智慧节能一站式破局之匙
大数据·人工智能·物联网
白熊18823 分钟前
【计算机视觉】CV实战项目 -深度解析PaddleSegSharp:基于PaddleSeg的.NET图像分割解决方案
人工智能·计算机视觉·.net
落樱弥城32 分钟前
图像处理——边缘检测
图像处理·人工智能·计算机视觉
IT古董32 分钟前
【漫话机器学习系列】224.双曲正切激活函数(Hyperbolic Tangent Activation Function)
人工智能·机器学习
Allen Bright35 分钟前
【机器学习-线性回归-3】深入浅出:简单线性回归的概念、原理与实现
人工智能·机器学习·线性回归
我不是小upper39 分钟前
数据预处理之特征选择 (Feature Selection)
人工智能·深度学习·机器学习
没有不重的名么1 小时前
在Pytorch中使用Tensorboard可视化训练过程
人工智能·pytorch·python
小lo想吃棒棒糖1 小时前
当自动驾驶遇上“安全驾校”:NVIDIA如何用技术给无人驾驶赋能?
人工智能·安全·自动驾驶
余弦的倒数1 小时前
计算机视觉各类任务评价指标详解
人工智能·计算机视觉