Transformer 架构的演进与未来方向(RNN → Self-Attention → Mamba)——李宏毅大模型2025第四讲笔记

一句话总结------"所有架构都为了解决上一代模型的致命缺陷而生:CNN 解决参数爆炸,ResNet 解决梯度消失,Transformer 解决 RNN 无法并行,而 Mamba 则试图一次解决 Transformer 的 O(N²) 与 RNN 的记忆瓶颈。"

1 每种架构的存在理由

• CNN:局部感受野+参数共享→图像任务参数量骤降,避免过拟合。

• Residual:跳跃连接→平滑损失曲面,让深层网络可训练。

• Transformer:用 Self-Attention 替代 RNN,实现训练期并行化。

2 从 RNN 到 Transformer:为什么改朝换代

1)RNN 的痛点

-- 顺序计算:时间步 t 必须等 t-1,训练无法并行。

-- 记忆有限:隐状态维度固定,长序列信息丢失。
2)Self-Attention 的卖点

-- 并行:所有位置一次性计算,GPU 友好。

-- 长程依赖:任意两位置直接相连,信息无损。

代价:推理时 O(N²) 计算/显存随长度爆炸。

self-attention: 并行,一次性给出输出

3 绕不过去的 O(N²):Linear Attention

Linear Attention就是没有softmax的Self-attention

把 softmax(QK^T)V 拆成 (Q(K^T V)),复杂度降到 O(N)。

训练并行,推理像 RNN:一路累加 KV 状态即可。
问题:无 softmax 的"归一化"→记忆权重永不更新,长序列"记忆错乱"。

4 "可遗忘"的线性注意力 → RetNet / Gated Retention / DeltaNet

在线性注意力外再加"遗忘门"或"衰减因子",让旧记忆逐渐淡出;效果逼近 Transformer,推理仍是 RNN 形式。

5 新架构候选:Mamba(及其朋友)

核心创新

  1. 选择性状态空间模型(Selective SSM):让 B,C,Δ 随输入动态变化,实现"内容感知"的读写与遗忘。

  2. 硬件感知并行算法:扫描(Scan)+ Kernel Fusion,在 GPU 上实现训练期并行、推理期恒定显存。

    结果:

    -- 训练并行度 ≈ Transformer

    -- 推理 O(N) 计算 + O(1) 显存

    -- 在 1B-7B 规模已追平或超越同尺寸 Transformer(如下图)

6 课程彩蛋 & 延伸

• "MambaOut:视觉任务真需要 Mamba 吗?"------论文结论:不一定。

• "Do not train from scratch"------把现成 Llama 权重蒸馏进 Mamba,节省算力。

• 最新竞技场:Minimax-01、Titans 等继续探索"测试时记忆"与混合架构。

• 一个赌局:到2027年1月,transformer的架构还会是最佳模型的架构吗?

给工程师的 3 句 memo

  1. Transformer 仍是通用王者,但长序列场景(语音、视频、RAG)先看 Mamba 类模型。

  2. 训练期并行 + 推理期 O(1) 显存是终极卖点,适合边缘部署。

  3. 暂时不要从零训 Mamba;先用 LoLCATs、Linger 等蒸馏方案"白嫖"现成权重。

--------叠甲--------

本篇课程博主也听得一知半解,如有记得不对的地方欢迎指正

相关推荐
却道天凉_好个秋几秒前
深度学习(十三):向量化与矩阵化
人工智能·深度学习·矩阵·向量化
大模型铲屎官5 分钟前
【数据结构与算法-Day 35】拓扑排序:从依赖关系到关键路径的完整解析
人工智能·python·深度学习·操作系统·数据结构与算法·关键路径·扩扑排序
糖葫芦君28 分钟前
17-Language Modeling with Gated Convolutional Networks
深度学习·机器学习·语言模型
小雪狼43 分钟前
RV1126 RKNN环境搭建记录
rnn·yolo
火山引擎边缘云2 小时前
字节跳动多媒体实验室联合ISCAS举办第五届神经网络视频编码竞赛
人工智能·深度学习·神经网络
Blossom.1184 小时前
AI“点亮”萤火虫:边缘机器学习让微光成像走进4K时代
人工智能·pytorch·python·深度学习·数码相机·opencv·机器学习
无风听海4 小时前
神经网络之剪切变换
人工智能·深度学习·神经网络
en-route4 小时前
从零开始学神经网络——RNN(循环神经网络)
人工智能·rnn·深度学习
补三补四5 小时前
图卷积网络 (GCN)
网络·人工智能·深度学习·神经网络·算法·机器学习
小椿_5 小时前
AI 驱动视频处理与智算革新:蓝耘MaaS释放海螺AI视频生产力
人工智能·深度学习·音视频