Transformer 架构的演进与未来方向(RNN → Self-Attention → Mamba)——李宏毅大模型2025第四讲笔记

一句话总结------"所有架构都为了解决上一代模型的致命缺陷而生:CNN 解决参数爆炸,ResNet 解决梯度消失,Transformer 解决 RNN 无法并行,而 Mamba 则试图一次解决 Transformer 的 O(N²) 与 RNN 的记忆瓶颈。"

1 每种架构的存在理由

• CNN:局部感受野+参数共享→图像任务参数量骤降,避免过拟合。

• Residual:跳跃连接→平滑损失曲面,让深层网络可训练。

• Transformer:用 Self-Attention 替代 RNN,实现训练期并行化。

2 从 RNN 到 Transformer:为什么改朝换代

1)RNN 的痛点

-- 顺序计算:时间步 t 必须等 t-1,训练无法并行。

-- 记忆有限:隐状态维度固定,长序列信息丢失。
2)Self-Attention 的卖点

-- 并行:所有位置一次性计算,GPU 友好。

-- 长程依赖:任意两位置直接相连,信息无损。

代价:推理时 O(N²) 计算/显存随长度爆炸。

self-attention: 并行,一次性给出输出

3 绕不过去的 O(N²):Linear Attention

Linear Attention就是没有softmax的Self-attention

把 softmax(QK^T)V 拆成 (Q(K^T V)),复杂度降到 O(N)。

训练并行,推理像 RNN:一路累加 KV 状态即可。
问题:无 softmax 的"归一化"→记忆权重永不更新,长序列"记忆错乱"。

4 "可遗忘"的线性注意力 → RetNet / Gated Retention / DeltaNet

在线性注意力外再加"遗忘门"或"衰减因子",让旧记忆逐渐淡出;效果逼近 Transformer,推理仍是 RNN 形式。

5 新架构候选:Mamba(及其朋友)

核心创新

  1. 选择性状态空间模型(Selective SSM):让 B,C,Δ 随输入动态变化,实现"内容感知"的读写与遗忘。

  2. 硬件感知并行算法:扫描(Scan)+ Kernel Fusion,在 GPU 上实现训练期并行、推理期恒定显存。

    结果:

    -- 训练并行度 ≈ Transformer

    -- 推理 O(N) 计算 + O(1) 显存

    -- 在 1B-7B 规模已追平或超越同尺寸 Transformer(如下图)

6 课程彩蛋 & 延伸

• "MambaOut:视觉任务真需要 Mamba 吗?"------论文结论:不一定。

• "Do not train from scratch"------把现成 Llama 权重蒸馏进 Mamba,节省算力。

• 最新竞技场:Minimax-01、Titans 等继续探索"测试时记忆"与混合架构。

• 一个赌局:到2027年1月,transformer的架构还会是最佳模型的架构吗?

给工程师的 3 句 memo

  1. Transformer 仍是通用王者,但长序列场景(语音、视频、RAG)先看 Mamba 类模型。

  2. 训练期并行 + 推理期 O(1) 显存是终极卖点,适合边缘部署。

  3. 暂时不要从零训 Mamba;先用 LoLCATs、Linger 等蒸馏方案"白嫖"现成权重。

--------叠甲--------

本篇课程博主也听得一知半解,如有记得不对的地方欢迎指正

相关推荐
小胖墩有点瘦5 小时前
【基于深度学习的中草药识别系统】
人工智能·python·深度学习·课程设计·计算机毕业设计·中草药识别
CoovallyAIHub5 小时前
推理提速一倍!SegDT:轻量化扩散 Transformer,医学图像分割的技术跨越
深度学习·算法·计算机视觉
CoovallyAIHub5 小时前
无人机方案如何让桥梁监测更安全、更智能?融合RTK与超高分辨率成像,优于毫米精度
深度学习·算法·计算机视觉
addaduvyhup5 小时前
【RNN-LSTM-GRU】第三篇 LSTM门控机制详解:告别梯度消失,让神经网络拥有长期记忆
rnn·gru·lstm
Deng_Xian_Sheng7 小时前
有哪些任务可以使用无监督的方式训练深度学习模型?
人工智能·深度学习·无监督
CV缝合救星11 小时前
【Arxiv 2025 预发行论文】重磅突破!STAR-DSSA 模块横空出世:显著性+拓扑双重加持,小目标、大场景统统拿下!
人工智能·深度学习·计算机视觉·目标跟踪·即插即用模块
蓝桉80213 小时前
如何进行神经网络的模型训练(视频代码中的知识点记录)
人工智能·深度学习·神经网络
星期天要睡觉14 小时前
深度学习——数据增强(Data Augmentation)
人工智能·深度学习
笑脸惹桃花14 小时前
50系显卡训练深度学习YOLO等算法报错的解决方法
深度学习·算法·yolo·torch·cuda