技术栈
mamba架构
m0_65010824
12 天前
注意力机制
·
论文精读
·
mamba架构
·
视频生产
·
潜扩散模型
·
时空建模
【论文精读】Matten：融合 Mamba 与 Attention 的视频生成新范式
标题：Matten: Video Generation with Mamba-Attention作者：Yu Gao, Jiancheng Huang, Xiaopeng Sun, Zequn Jie, Yujie Zhong, Lin Ma（Zequn Jie 为通讯作者）
无心水
4 个月前
架构
·
transformer
·
mamba
·
mamba架构
·
ai大模型系统开发实战
·
ai大模型高手开发
·
ai大模型系统实战
【AI大模型：前沿】43、Mamba架构深度解析：为什么它是Transformer最强挑战者？
Transformer架构自2017年诞生以来，一直是NLP、计算机视觉等领域的“统治级”模型架构。但随着序列长度需求的增长（如128K长文本处理、基因组学超长序列分析），其自注意力机制的 O ( n 2 ) O(n^2) O(n2)计算复杂度成为难以逾越的瓶颈。2023年底，由Albert Gu和Tri Dao等人提出的Mamba架构，通过创新的“选择性状态空间模型（Selective SSM）”实现了线性复杂度（ O ( n ) O(n) O(n)），在保持高性能的同时，彻底解决了长序列处理的效率问题
我是有底线的