【AI学习】Mamba学习(二):线性注意力

上一篇《Mamba学习(一):总体架构》提到,Transformer模型的主要缺点是:自注意力机制的计算量会随着上下文长度的增加呈平方级增长。所以,许多次二次时间架构(指一个函数或算法的增长速度小于二次函数,但大于线性函数),如线性注意力、门控卷积和循环模型,以及结构化状态空间模型(SSM)被开发出来,以解决Transformer在长序列上的计算效率低下问题。

那先来了解一下什么是线性注意力。

关于线性注意力,已经有大量的文章,这里直接引用。

一、Softmax注意力与线性注意力

参见这篇文章《Softmax注意力与线性注意力的优雅融合

(文章链接:https://mp.weixin.qq.com/s/ndQTSmf3RCCLU0xjd-nrkQ)

由于 Softmax 注意力是平方复杂度,直接进行全局自注意力的计算往往会带来过高的计算量。

针对这一问题,先前的工作通常通过减少参与自注意力计算的特征数量的方法来降低计算量。例如,设计稀疏注意力机制(如 PVT)或将注意力的计算限制在局部窗口中(如 Swin Transformer)。尽管有效,这样的自注意力方法很容易受到计算模式的影响,同时也不可避免地牺牲了自注意力的全局建模能力。

与 Softmax 注意力不同,线性注意力将 Softmax 解耦为两个独立的函数,从而能够将注意力的计算顺序从 (query・key)・value 调整为 query・(key・value),使得总体的计算复杂度降低为线性。

下面的图可以看的很清楚。

二、Softmax注意力与线性注意力的公式表达

参见这篇论文《Demystify Mamba in Vision: A Linear Attention Perspective (Arxiv 2024.05)》(论文地址:https://arxiv.org/pdf/2405.16605)

从上面的公式可以看出,Softmax 注意力的问题是,Softmax是非线性的函数,如果没有 Softmax,那么就是三个矩阵 (query・key)・value 连乘 ,而矩阵乘法满足结合率,可以调整为调整为 query・(key・value)。

(query・key)得到是n✖n的矩阵,(key・value)得到的是d✖d的矩阵。在d远小于n的情况下,复杂度就大致从O(n^2)降低到O(n)量级。

线性注意力将 Softmax 解耦为两个独立的函数,从而能够将注意力的计算顺序从 (query・key)・value 调整为 query・(key・value),使得总体的计算复杂度降低为线性。

三、苏神的几篇文章

线性Attention的探索:Attention必须有个Softmax吗?

文章链接:https://mp.weixin.qq.com/s/ziY7y9Lcc4jXf08UtJvKsQ

文章探讨了线性注意力的几种形式。

线性Transformer应该不是你要等的那个模型

文章链接:https://mp.weixin.qq.com/s/MhLXO_VE_VYb7iIJCgN_lQ

这篇文章分析指出:当输入序列长度较小时,是线性复杂度的 FFN 占主导,而不是注意力机制部分的计算。按照BERT的base版计算,当序列长度接近 5000 时,Transformer 的复杂度才真正体现出二次性!

Performer:用随机投影将Attention的复杂度线性化

文章链接:https://mp.weixin.qq.com/s/NKhp5TWPHEhLl76X3aECpg

Transformer升级之路:从Performer到线性Attention

文章链接:https://mp.weixin.qq.com/s/vut2KniBS3EFv5eSTH5Qqg

注意力机制真的可以"集中注意力"吗?

文章链接:https://mp.weixin.qq.com/s/HdqdjZeF8gxIRwUmU5ycIw

相关推荐
虾球xz几秒前
游戏引擎学习第247天:简化DEBUG_VALUE
c++·学习·游戏引擎
进来有惊喜12 分钟前
循环神经网络RNN---LSTM
人工智能·rnn·深度学习
Chrome深度玩家12 分钟前
如何下载Google Chrome适用于AI语音交互的特制版
前端·人工智能·chrome
Xiaoxiaoxiao020913 分钟前
GAEA情感坐标背后的技术原理
人工智能·web3·区块链
崔高杰20 分钟前
On the Biology of a Large Language Model——Claude团队的模型理解文章【论文阅读笔记】其一CLT与LLM知识推理
论文阅读·人工智能·笔记·语言模型·自然语言处理
ICT_SOLIDWORKS43 分钟前
智诚科技苏州SOLIDWORKS授权代理商的卓越之选
大数据·人工智能·科技·软件工程
superior tigre1 小时前
C++学习:六个月从基础到就业——模板编程:模板特化
开发语言·c++·学习
新知图书1 小时前
OpenCV彩色图像分割
人工智能·opencv·计算机视觉
多巴胺与内啡肽.1 小时前
OpenCV进阶操作:图像金字塔
人工智能·opencv·计算机视觉
·醉挽清风·1 小时前
学习笔记—双指针算法—移动零
c++·笔记·学习·算法