原文：https://mp.weixin.qq.com/s/FyxeVIPXFxgJKueRkozMIw
Transformer 的演进史，就是一部现代 AI 的成长史。从 2017 年至今，它经历了七个阶段，每一步都在解决不同的问题。
第一阶段（2017）：诞生。 Transformer 抛弃了传统的 RNN 和 CNN，只靠自注意力机制同时观察整句话的所有词汇，快速捕捉词与词之间的关联。
第二阶段（2018）：分成两大流派。 以 BERT 为代表的编码器，擅长双向理解文章含义；以 GPT 为代表的解码器，擅长单向生成文字。两者共同确立了先预训练、再微调的现代 AI 范式。
第三阶段（2019--2020）：修炼内功。 RoBERTa 升级训练方法，XLNet 消除掩码偏差，ELECTRA 提升训练效率，ALBERT 和 DistilBERT 压缩模型体积，DeBERTa 把阅读理解能力推向巅峰。
第四阶段：突破长度限制。 Transformer-XL 引入跨段落记忆，Longformer 采用局部滑动窗口，模型终于能一口气读完长篇论文甚至整本书。
第五阶段（2019--2021）：编码器 与解码器合体。 T5 和 BART 把所有任务统一成输入文本、输出文本的生成模式。Switch Transformer 引入混合专家机制，首次把模型总规模推上万亿参数。
第六阶段（2020--2022）：走出文字世界。 图片切成小方块（ViT、Swin Transformer），声音切成音频片段（wav2vec 2.0、Whisper），代码当成特殊语言（Codex、AlphaCode）。CLIP 和 Flamingo 进一步打通图文界限，让机器能用自然语言理解视觉世界。
第七阶段（2020--2025）：超大模型与深度推理。 GPT-3 证明模型足够大、看几个例子就能学会新任务。InstructGPT 和 DPO 通过人类反馈教会模型听懂人话、遵守安全规范。DeepSeek-V3 和 DeepSeek-R1 大幅降低成本，还用强化学习让模型学会自我反思和长链条慢思考。至此，Transformer 从统计猜词机器蜕变成了通用逻辑推理引擎。
| 演进时间线 | 分类 | 核心架构范式 | 解决的核心技术瓶颈 | 代表性经典模型 |
| 第一阶段（2017） | 序列建模底座重塑 | 标准编码器加解码器 | 解决传统循环网络无法并行计算及长句信息丢失问题 | Transformer |
| 第二阶段（2018） | 预训练范式确立与裂变 | 纯编码器或纯解码器 | 解决标注数据不足问题，实现双向阅读理解与单向文本生成 | GPT-1、BERT |
| 第三阶段（2019--2020） | 预训练精进与模型压缩 | 改进型编码器架构 | 消除人工掩码偏差、缩减模型体积、分离内容与位置计算 | XLNet、RoBERTa、ALBERT、DistilBERT、ELECTRA、DeBERTa |
| 第四阶段（2019--2020） | 长文本与高效稀疏注意力 | 循环记忆与稀疏注意力 | 突破五百词长度限制与显存瓶颈，消除长文切片信息断裂 | Transformer-XL、Longformer |
| 第五阶段（2019--2021） | 多任务统一与稀疏扩展 | 统一序列生成与混合专家 | 消除不同任务结构碎片化，实现万亿参数低成本运行 | T5、BART、Switch Transformer |
| 第六阶段（2020--2022） | 视觉、语音、代码与多模态 | 跨模态通用骨干网络 | 打破语言与视觉及语音壁垒，实现零样本识图、抗噪听写与编程 | wav2vec 2.0、ViT、CLIP、Swin Transformer、Codex、AlphaCode、Flamingo、Whisper |
| 第七阶段（2020--2025） | 超大模型、对齐与强化推理 | 巨型解码器与强化学习 | 摆脱微调依赖、对齐人类价值观、压缩显存并激发慢思考推理 | GPT-3、InstructGPT、DPO、Dee |
阶段一（2017）：诞生
2017 年之前，当时主流的序列转换模型（如机器翻译模型）都基于循环神经网络（RNN）或卷积网络。RNN 有两大痛点：① 必须逐词计算，无法并行，训练很慢；② 长距离依赖难以保留，隔得远的词之间的关系容易被遗忘。注意力机制虽然已被用来缓解这些问题，但只是作为 RNN 的附加组件。
Google 团队在 2017 年提出的 Transformer 彻底改变了这个局面。它的思路很直接：既然排队传信息容易丢，那就让句子里的每个词直接和其他所有词对话。这样不管两个词隔得多远，都能一步建立联系。而且整句话的所有词可以同时在显卡上并行计算，速度大幅提升。
Transformer（2017.06）
-
标题：Attention Is All You Need
-
github
Transformer 的革命在于：彻底去掉 RNN 和卷积，整个架构只由注意力机制构成。
-
自注意力（Self-Attention）：序列中每个词直接关注其他所有词，一步建立任意距离的关联，彻底解决了长距离依赖问题
-
多头注意力（Multi-Head）：并行运行多组注意力，让模型从不同角度（语法、语义、指代等）捕捉信息
-
位置编码：由于没有顺序计算，需要人为给每个词注入位置信息
-
编码器-解码器结构：编码器负责理解输入，解码器负责生成输出，二者均由自注意力和前馈网络堆叠而成
关键优势
-
可大规模并行：训练时不再逐词处理，可充分利用 GPU，训练时间大幅缩短
-
训练成本低：英法翻译任务仅用 8 块 GPU 训练 3.5 天，远低于以往最优模型的开销
Transformer 用实力证明了注意力就是你所需要的一切：兼具质量、并行性和训练效率，随后衍生出 BERT（只用编码器）、GPT（只用解码器）等模型，最终发展为今天的大语言模型时代。这篇论文是现代 AI 技术体系的起点。
阶段二（2018）：理解/生成两大流派的诞生
2017 年的原始 Transformer 包含编码器和解码器，主要做机器翻译。到了2018 年，研究者想用海量无标注文章训练通用模型，发现把两者拆开单独使用，能在阅读理解和文字生成上各自发挥出惊人威力。
两类任务需求不同，所以出现分化。情感分析、阅读理解需要同时看清词的前后内容，只保留编码器、开放双向视野最合适，这就是 BERT 。写文章、聊天续写必须从左到右逐字生成，不能偷看后文，只保留解码器、采用单向注意力更自然，这就是 GPT 。两者共同确立了先海量预训练、再针对任务微调的两阶段标准模式。
| 架构流派对比维度 | Transformer架构（2017） | GPT 流派（纯解码器，2018） | BERT 流派（纯编码器，2018） |
| 核心拓扑结构 | 编码器与解码器对称组合 | 独立抽取多层解码器进行堆叠 | 独立抽取多层编码器进行堆叠 |
| 注意力交互方向 | 编码双向加解码单向加跨塔交互 | 单向注意力，只看上文不看下文 | 双向注意力，左右上下文同时可见 |
| 预训练核心目标 | 双语平行语料翻译训练 | 给定前文，按顺序预测下一个词 | 随机遮盖词语做完形填空，并预测下一句 |
| 主导任务领域 | 机器翻译与序列转换 | 文章续写、对话生成与通用生成任务 | 文本分类、信息抽取、阅读理解与语义匹配 |
GPT-1（2018.06）
-
标题：Improving Language Understanding by Generative Pre-Training
-
论文地址 ：https://cdn.openai.com/research-covers/language-unsupervised/language_understanding_paper.pdf
GPT-1 开创了 先无监督生成式预训练，再有监督判别式微调 的两阶段范式，用一个通用模型在 12 项 NLP 任务中的 9 项刷新纪录，是 BERT 之前最重要的预训练工作。
NLP 任务五花八门（文本推理、问答、语义相似度、文本分类等），但标注数据稀缺且昂贵。虽然无标注文本遍地都是，可当时的模型很难从中充分利用词级别以上的信息。
GPT-1 分两个阶段进行：
-
无监督预训练：用 Transformer 解码器（Decoder-only 结构），在海量无标注文本上做标准的语言建模任务，即根据上文预测下一个词
-
有监督微调：针对具体任务，在预训练模型上加一个线性输出层进行微调
关键创新是任务感知的输入变换 ：无论什么任务（分类、问答、 entailment），都统一改写成文本序列进、标签出的格式。这样模型架构几乎不用改动，一套结构通吃多种任务。
生成式预训练能学到强大的通用语言表示，只需极小的架构改动和微调成本，就能迁移到各种下游任务。它确立了 Decoder-only + 预训练微调的路线。后来 BERT 用双向编码器在 2018 年底反超，但 GPT 这条生成式路线持续演进（GPT-2 → GPT-3 → ChatGPT），最终成为大模型时代的主流。
BERT（2018.10）
-
标题：BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
BERT 是首个真正意义上的深度双向预训练语言模型。它在 11 项 NLP 任务上同时刷新纪录，开创了预训练 + 微调的范式，是 NLP 史上的里程碑之作。
在 BERT 之前，主流语言模型只能单向看文本：要么只看左边（GPT 这类），要么简单拼接左右两个单向模型（ELMo 这类）。这限制了对上下文的理解深度。BERT 的目标是：让模型在每一层都能同时利用左右两侧的信息。
BERT 的架构很简单：仅使用 Transformer 的编码器堆叠而成。关键在于两个预训练任务：
-
掩码语言模型（MLM）：随机遮住输入中约 15% 的词，让模型根据上下文预测这些词。这是实现深度双向的关键，每个词都能看到左右两边的完整信息。
-
下一句预测（NSP）：给模型两个句子，判断第二句是否真的紧跟第一句。这让 BERT 学会理解句子之间的关系，对问答、推理类任务很重要。
预训练用的数据是无标注文本（BooksCorpus + 维基百科），预训练完成后，只需在 BERT 上加一个很薄的输出层，用具体任务的少量标注数据微调即可。不需要为每个任务设计专门的架构改动。
BERT 证明了深度双向预训练 + 简单微调 的就能在几乎所有 NLP 任务上大幅超越之前的方案。它让先在大规模无标注语料上预训练、再到下游任务微调成为行业标准流程，也直接启发了后来的 RoBERTa、XLNet 等一系列改进工作。
阶段3（2019--2020）：从架构到效率的系统优化
BERT 虽然强大，但很快暴露出三个短板。① 掩码失真：训练时大量使用人工掩码符号，真实任务里根本不会出现，导致预训练和应用脱节；而且它默认被遮住的词之间互不影响，忽略了它们的内在联系。② 训练效率低：每句话只有被遮住的 15% 的词参与学习打分，剩下 85% 的词没直接提供学习信号，浪费了大量算力。③ 模型太重太慢：庞大参数占用大量内存，很难部署响应要求极高的工业系统里（当时背景下）。
针对这些问题，2019 至 2020 年间涌现出大批改进模型，主要从训练目标优化、模型轻量化压缩和注意力结构改进三个方向展开全面创新。
预训练目标与策略优化
XLNet（2019.06）
-
标题：XLNet: Generalized Autoregressive Pretraining for Language Understanding
XLNet由卡内基梅隆大学与 Google 联合提出，是一种广义自回归预训练模型 ，既保留了 BERT 的双向上下文能力，又避开了 BERT 的两大缺陷，在 20 项任务上全面超越 BERT。
BERT两大缺陷：
-
忽略了被遮位置之间的依赖关系：各个被遮的词是独立预测的，彼此之间没有联系。
-
预训练与微调不一致：预训练时输入有 MASK 标记，微调时却没有，两者分布不匹配。
XLNet 的思路是：用排列语言建模（Permutation LM）替代 Mask。
-
全排列分解：训练时把句子中词的预测顺序随机打乱，取所有排列的期望似然。这样每个词在预测时都能看到双向上下文
-
保持自回归形式：本质上仍是自回归（一个词一个词地预测），因此没有 MASK 标记，预训练与微调天然一致，也能建模词之间的依赖
-
融合 Transformer-XL：引入了当时最强自回归模型的两大技术------片段循环机制（处理长文本）和相对位置编码，进一步提升能力
相同实验条件下，XLNet 在阅读理解、情感分析、文档排序等 20 项任务上全面超越 BERT，刷新 18 项最高纪录。它从理论上证明自回归预测同样能实现双向语义理解，深刻启发了后续统一预训练模型研究。XLNet 的价值在于指出：双向上下文与自回归建模并非二选一。通过排列语言建模，可以同时获得两者的优势。
RoBERTa（2019.07）
-
标题：RoBERTa: A Robustly Optimized BERT Pretraining Approach
Facebook AI团队提出的RoBERTa 证明了：不改动 BERT 的模型结构，只把训练做得更充分、更精细，就能全面超越 BERT 以及 BERT 之后发布的众多模型。
关键改进（只有训练策略，不改架构）：
-
去掉下一句预测任务（NSP）：实验发现这个任务弊大于利，去掉后效果更好
-
更大的批次和更多数据：用更大的 mini-batch、训练更久，并把训练数据从 16GB 扩充到 160GB
-
更长的序列：多在整句长序列上训练，而不是短的 128 token
-
动态 Masking：预训练时每个 epoch 动态改变被遮住的词，而不是固定一种遮法
-
使用更大的词表和文本：换用 50K 大小的 BPE 词表，并纳入更多样化的语料
经过以上优化后的 RoBERTa，在 GLUE、RACE、SQuAD 三大基准上全面达到当时的最优水平（SOTA），追平或超过了 XLNet 等后来者。论文揭示了重要事实：被忽视的训练设计细节（数据量、批次大小、训练时长、Masking 方式等）对最终效果影响巨大。
ELECTRA（2020.03）
-
标题：ELECTRA: Pre-training Text Encoders as Discriminators Rather Than Generators
BERT 这类掩码语言模型（MLM）的做法是：遮住 15% 的词，让模型恢复原词。问题是：每次训练只学习被遮的那一小部分词，其余 85% 的输入没有产生学习信号，计算浪费严重。
ELECTRA 把预训练任务从完形填空 改成找茬，判断每个词是不是被替换过的。任务更高效，用不到 BERT 的计算量就能达到甚至超越同样的效果
ELECTRA 提出替换词检测（Replaced Token Detection）任务，采用生成器 + 判别器的架构：
-
生成器 ：一个小型模型，负责把输入中的一些词替换成以假乱真 的词。例如把the chef cooked the meal 换成the chef ate the meal。
-
判别器：主模型，不猜原词是什么，而是逐词判断每个词是原词还是被替换的假词。
关键区别在于：判别任务覆盖输入中的每一个词，而不是只有被遮的 15%。同样的计算量，学习信号是 MLM 的数倍。
ELECTRA 证明了：预训练任务的设计比堆算力更重要。判别式任务能榨取更高的样本效率，尤其让小模型在算力受限场景下大放异彩。它的生成器-判别器思路也带有 GAN 的影子，是 BERT 系改进中最具巧思的工作之一。
模型轻量化与端侧部署
ALBERT（2019.09）
-
标题：ALBERT: A Lite BERT for Self-supervised Learning of Language Representations
ALBERT 用三种巧妙的参数缩减技术，让模型参数量比 BERT-large 更少，效果却更好，解决了预训练模型越做越大、显存放不下的问题。
-
词嵌入参数分解 ：把巨大的词向量矩阵拆成小矩阵 × 大矩阵两个因子。词向量不再直接绑定隐藏层维度，参数量大幅下降，而效果几乎不受影响
-
跨层参数共享：所有 Transformer 层共享同一套参数。层与层之间不再重复存储权重，模型深度可以随意增加，显存占用却基本不变
-
句间连贯性预测（SOP）：替换 BERT 的下一句预测任务。新任务判断两句话的先后顺序是否被调换，逼模型学习句间的逻辑连贯性，而非靠主题词偷懒答对
模型能力不等于参数数量。通过精巧的结构设计，可以用更少的资源训练出更强、更易扩展的模型。它为大规模预训练模型提供了实用的瘦身方案，其中参数分解与跨层共享思想至今仍被广泛使用。
DistilBERT（2019.10）
-
标题：DistilBERT, a distilled version of BERT: smaller, faster, cheaper and lighter
从大规模预训练模型迁移学习已成为 NLP 的主流做法。但大模型在算力受限的场景（手机等边缘设备、推理预算紧张的服务）中部署困难。此前的蒸馏工作大多针对特定任务做压缩，而 DistilBERT 的目标是：直接在预训练阶段造一个通用小模型，之后可以像 BERT 一样微调到各种任务。
DistilBERT 用知识蒸馏在预训练阶段压缩 BERT：体积减小 40%，速度提升 60%，同时保留 97% 的语言理解能力，是轻量级 NLP 模型的代表作。
DistilBERT 采用标准 Transformer，去掉了 token 类型嵌入和池化层 ，层数减半。训练时用三项损失联合优化：
-
蒸馏损失：让小模型的输出概率分布尽量模仿 BERT 的软标签，这是知识的直接来源
-
语言建模损失（MLM）：保留标准的掩码语言模型目标，让小模型仍按常规方式学习
-
余弦距离损失：对齐大小模型的隐藏状态向量方向，传递更深层的信息
DistilBERT的论文表明了知识蒸馏在预训练阶段就能奏效，不必针对每个任务单独压缩。它用极小的精度代价换来大幅的体积与速度优势，是绿色 AI 和端侧部署的代表工作。它也是 Hugging Face 生态的开山作品之一。
表征解耦与语言理解巅峰演进
DeBERTa（2020.06）
-
标题：DeBERTa: Decoding-enhanced BERT with Disentangled Attention
BERT 和 RoBERTa 把词的内容与位置信息混在一个向量里表示。但语言理解中，内容与位置的组合方式至关重要，例如deep 和 learning 相邻则表示术语、很远则表示普通词组，含义完全不同。传统做法对这种细粒度关系建模不足。
DeBERTa 通过解耦注意力 和增强式掩码解码器两项技术改进 BERT/RoBERTa，用一半的训练数据就全面超越 RoBERTa，并首次在 SuperGLUE 上超过人类水平。通过引入三项关键技术：
-
解耦注意力 ：每个词拆成两个独立向量，即内容向量和位置向量。计算注意力时，词与词之间的内容-内容 、内容-位置 、位置-内容关系分别用不同矩阵建模，表达更精细
-
增强式掩码解码器：解耦之后模型只知道相对位置，不知道绝对位置。但在预测被遮词时，绝对位置往往很关键（例如句子开头的大写词）。因此在解码层把绝对位置信息补回来
-
虚拟对抗训练：微调阶段给输入加上微小的、最"恶意"的扰动，逼模型学习更平滑稳定的表示，提升泛化能力
阶段四（2019--2020）：突破长度限制
早期 Transformer 和 BERT 采用全注意力机制，每个词都要与所有词两两计算，文章长度翻倍，计算量和显存就变成四倍，因此最多只能读入 512 个词。遇到长文只能切成互不相连的短片段，截断前后文联系，造成语境碎片化。
2019 至 2020 年出现两种经典解法：① 以 Transformer-XL 为代表的循环记忆法 ，读后一段时能翻看前一段的缓存笔记；② 以 Longformer 为代表的稀疏注意力法，只看身边邻居加少数全局重点词，从而轻松读完上万字长文。
Transformer-XL（2019.01）
-
标题：Transformer-XL: Attentive Language Models Beyond a Fixed-Length Context
标准 Transformer 做语言建模时，只能处理固定长度的片段。存在两大问题：① 依赖被截断 ：关键信息若超出片段范围，模型完全看不到。② 上下文碎片化 ：文本被硬切成段后逐段处理，段与段之间没有信息流动，开头几个词几乎无上下文可用。
Transformer-XL 引入片段循环和相对位置编码两项技术，让 Transformer 突破固定长度限制，能建模远超以往的长距离依赖，且推理速度快上千倍。提出两项创新：
-
片段级循环机制：处理新片段时，把上一个片段的隐藏状态缓存下来，与新片段拼接后一起做注意力。这样模型能回看更早的内容，信息跨片段流动。缓存还可以一层层向前传递，实际依赖长度远超片段本身
-
相对位置编码：缓存旧片段后，原来的绝对位置编号就乱了。改用词与词之间的相对距离来编码位置，既解决了缓存带来的位置冲突，也让模型更容易泛化到更长的序列
Longformer（2020.04）
-
标题：Longformer: The Long-Document Transformer
Longformer 用稀疏注意力替代标准的全量注意力，把计算量从平方级降到线性级，让 Transformer 能直接处理数千乃至更长的文档。由三种模式混合而成：
-
滑动窗口注意力：每个词只关注周围固定窗口内的词。窗口逐层堆叠后，感受野逐层扩大，底层窗口小、上层窗口大，兼顾效率与全局性
-
空洞滑动窗口注意力：在窗口中加入空洞，扩大感受野，类似膨胀卷积的思路
-
全局注意力：对少数关键位置（如分类标记 \CLS\\、问题中的词）开放对全部序列的注意力。具体选哪些位置，由任务决定
这种机制是标准自注意力的即插即用替代品，架构上不需要大改。
Longformer 证明了不必付出平方级代价，也能保留 Transformer 的全局建模能力。它填补了预训练模型与真实长文档之间的鸿沟，与 BigBird 等工作一起开启了长上下文 Transformers 的研究方向。
阶段五（2019--2021）：编码器与解码器合体
BERT 和 GPT 各自发展后暴露出两个问题：BERT 擅长做选择题，却不会直接写文章或翻译；每换一个新任务，还得加一套专用零件，很繁琐。
于是 2019 年底到 2021 年初，T5 和 BART 等模型让编码器加解码器结构重回舞台中央。这一阶段最大的突破是任务格式统一 ：不管什么任务，只要在输入前加一句任务说明，都能变成输入一段话、输出一段话 的生成问题。随后 Google 推出 Switch Transformer，用混合专家稀疏激活机制，在不增加单次计算负担的前提下，首次把参数规模推上万亿级别。
T5（2019.10 / JMLR 2020）
-
标题：Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer
-
论文地址：
T5 把所有 NLP 任务统一改写成文本进、文本出的格式，用一个模型和一套流程处理翻译、问答、摘要、分类等一切任务，并系统性地做了一次迁移学习技术的大规模对比实验。
-
Text-to-Text 统一框架 ：任何任务都变成输入前缀 + 文本 → 输出文本。例如翻译任务输入translate English to German: ...，分类任务输入cola sentence: ...。任务差异只体现在前缀上，模型与训练流程完全统一。
-
系统性消融实验：在统一框架下公平比较了预训练目标、架构、数据集、迁移策略等几乎所有设计选择，是当时最全面的迁移学习研究。
-
C4 语料库：发布了一个从 Common Crawl 清洗出的超大规模干净语料Colossal Clean Crawled Corpus（C4），供社区使用。
-
规模验证：结合消融实验的最优结论与大规模训练，训练了最大 110 亿参数的 T5。
T5 提供了迁移学习的完整参考坐标系，其 Text-to-Text 框架是后来指令微调与 prompt 范式的直接先驱。C4 数据集与开源代码成为社区的标准资源，GPT-3 等后续工作都在其铺就的道路上前行。
BART（2019.10 / ACL 2020）
-
标题：BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension
-
github ：https://github.com/pytorch/fairseq/tree/main/examples/bart
BERT 擅长理解类任务，但不是为生成设计的；GPT 擅长生成，但单向编码不利于理解。两类模型各占一头，没有一个预训练方案能同时通吃。BART 的目标是：用一种更灵活的预训练方式，兼得理解与生成。
BART 采用标准 Transformer 编码器-解码器结构，预训练分两步：
-
加噪声：用灵活的方式破坏原文，包括打乱句子顺序、文本填空（随机挖掉一段连续文本，只留一个 mask 标记）、删除词、词替换等。
-
还原原文：编码器读取被破坏的文本（只看到被破坏后的样子），解码器逐词重建原始文本。
实验发现，句序打乱 + 文本填空的组合效果最好。这个设计要求模型进行真正的推理：判断整篇文档说了什么、各部分如何排列、被挖掉的内容是什么。
从理论上讲，BART 可以看作 BERT（双向编码器）和 GPT（自回归解码器）的泛化形式。
BART 证明了：灵活的噪声设计 + Seq2Seq 预训练能同时覆盖理解与生成两大类任务。它与 T5（几乎同期）一起确立了生成式预训练的地位，其思想延续到后来的 mBART 等多语言模型，也是今天 Encoder-Decoder 大模型的重要源头。
Switch Transformer（2021.01）
-
标题：Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity
传统模型对所有输入复用同一套参数，参数越多，计算就越重，规模扩张撞墙。混合专家的思想是：给每个输入只激活一小部分参数，从而实现参数海量、计算恒定。但 MoE 一直难以普及，卡在三大障碍上：路由复杂、通信成本高、训练不稳定。
Switch Transformers 用极简化的混合专家架构，让模型参数量突破到万亿级，而计算成本却保持不变，在相同算力下预训练速度提升最高 7 倍。
-
Top-1 路由：传统 MoE 给每个 token 选 2 个以上专家，Switch 简化为只选 1 个。路由更简单，通信量、计算量都大幅下降，效果反而更好。
-
专家并行：不同专家分布在不同设备上，每个 token 只需发往一个目的地，通信开销最小化。
-
训练稳定性技巧：包括选择性精度（路由计算用 float32 保稳定、主体用 bfloat16 提效率）、更大的初始化等，首次让稀疏大模型可以用低精度训练成功。
-
容量因子：控制每个专家的负载上限，配合负载均衡损失避免所有 token 涌向同一个专家。
稀疏化是稠密模型之外的另一条扩展之路：参数可以远超计算预算。它大幅简化并稳定了 MoE 训练，为后来 Mixtral、DeepSeek 等主流 MoE 大模型开创了工程范式。
阶段六（2020--2022）：跨模态大一统
2020 至 2022 年，Transformer 从文字领域全面扩张，接管了原本由卷积网络统治的计算机视觉、由传统声学模型统治的语音识别，以及软件代码生成领域。
为什么一个学说话写文章的架构能同时看图、听声、写代码？因为自注意力本质上是通用的信息关联计算器，不挑剔输入形式。只要在入口做一层转换，即把图片剪成小方块、把录音切成短片段、把代码拆成符号序列，任何信号都能变成一排词元 喂给 Transformer。这一阶段不仅统一了 AI 各分支的底层网络，还通过图文对齐技术，让机器第一次把文字概念和现实画面对应起来。
计算机视觉领域
ViT（Vision Transformer，2020.10）
-
标题：An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale
-
github ：https://github.com/google-research/vision_transformer
Transformer 已是 NLP 的事实标准，但在视觉领域始终只是 CNN 的配角------要么与卷积搭配使用，要么只替换 CNN 里的部分组件。视觉研究长期依赖卷积的归纳偏置（局部性、平移不变性）。ViT 想验证一个激进问题：彻底抛弃卷积行不行？
Google 团队再次发力。ViT 的做法简单得出奇，大道至简：
-
切块：把图像切成固定大小的 patch（如 16×16 像素），每个 patch 拉平成一个向量，类比 NLP 里的一个词。
-
线性投影：把这些向量投影成 token 序列，加上位置编码，再追加一个分类标记 CLS。
-
标准 Transformer：直接套用原版 Transformer 编码器处理这个序列，不做任何视觉特化改造。
-
大规模预训练：先在大数据集（如 JFT-300M）上预训练，再微调到下游任务。
卷积不是视觉任务的必需品 ，注意力机制 + 大规模数据足以学到视觉表示。它打破了 NLP 与 CV 的架构壁垒，为多模态统一模型（如 CLIP、GPT-4V）铺平了道路，是现代视觉大模型的开山之作。
Swin Transformer（2021.03）
-
标题：Swin Transformer: Hierarchical Vision Transformer using Shifted Windows
ViT 证明了纯 Transformer 可以做视觉，但它有两个短板：① 自注意力计算量随图像大小平方增长，高分辨率图像（检测、分割必需）根本用不起；② 输出单一分辨率，缺乏 CNN 那种由粗到细的层级特征，难以适配目标检测、分割等密集预测任务。ViT 更像一个专用分类器，而视觉领域需要一个通用骨干。
Swin Transformer 用移动窗口分层注意力设计出计算量随图像大小线性增长的层级式视觉 Transformer，成为能通吃分类、检测、分割的通用视觉骨干网络。
-
层级式结构：仿照 CNN，特征图逐层下采样（4×→8×→16×→32×），形成金字塔结构。不同分辨率特征可用于不同任务，与现有检测/分割框架天然兼容。
-
窗口注意力：把特征图分成不重叠的小窗口，注意力只在窗口内部计算，计算量从平方级降为线性级。
-
移动窗口（Shifted Window）：关键创新。每层交替把窗口划分偏移半个窗口，让信息跨窗口流动。既保住线性复杂度，又不牺牲全局建模能力。
-
相对位置偏置：采用相对位置编码，进一步提升精度。
Swin 让 Transformer 真正具备了 CNN 的工程实用性：分层、高效、通用。它一举成为视觉任务的新标准骨干，与 ViT 一起确立了 Transformer 在视觉领域的主导地位，是后续众多视觉与多模态大模型的基础架构。
语音识别与音频处理领域
wav2vec 2.0（2020.06）
-
标题：wav2vec 2.0: A Framework for Self-Supervised Learning of Speech Representations
wav2vec 2.0 把 BERT 式的自监督预训练搬到语音领域：先从海量无标注音频中学习语音表示，再用极少量标注数据微调，只用 10 分钟标注数据就能达到接近主流的识别效果。
wav2vec 2.0 的架构分三部分：
-
卷积特征编码器：把原始音频波形转成潜在表示，全程不依赖标注。
-
上下文网络（Transformer）：对潜在表示做掩码处理（类比 BERT 遮词），再用 Transformer 建模上下文。
-
对比学习任务：模型要从一组干扰项中分辨出被掩位置的真实未来语音表示。目标表示来自一个共同学习的量化模块，把连续的语音信号离散成有限个单元。
预训练完成后，只需在顶层加一个小的线性层，用标注数据微调做语音识别。
wav2vec 2.0 证明：仅从音频中自监督学习，就能超越复杂的半监督方案。它统一了语音预训练的范式，成为语音表示学习的事实标准，直接启发了后来的 HuBERT、Whisper 前置工作乃至多模态语音大模型。
Whisper（2022.12）
-
标题：Robust Speech Recognition via Large-Scale Weak Supervision
传统语音识别系统在干净的基准测试上表现出色，但一到真实场景（口音、背景噪音、专业术语）性能就大幅下滑。原因在于训练数据又少又窄。与此同时，互联网上其实存在海量带字幕的音频，只是质量参差不齐，属于弱监督数据。Whisper 赌的是：数据规模可以弥补数据瑕疵。
Whisper 用 68 万小时的互联网音频-文本对训练了一个通用语音识别模型，零样本即可达到接近全监督方法的水平，鲁棒性接近人类。
-
超大规模弱监督数据：收集 68 万小时多语言、多任务音频-文本对（97 种语言，其中约 12.5 万小时非英语），只用自动化流程粗过滤，不做精细清洗。
-
简单的编码器-解码器 Transformer：音频进编码器，文本从解码器自回归生成。
-
多任务统一训练：以特殊 token 指定任务，涵盖转写、翻译、语言识别、时间戳预测等，一个模型全部搞定。
-
不用预训练-微调范式：直接一次训练到位，追求零样本泛化能力，而非针对特定数据集调优。
大规模弱监督 + 简单架构，可以同时解决精度与鲁棒性两大痛点。模型与代码全部开源，因其开箱即用的强大能力，迅速成为语音识别领域应用最广的基础模型之一。
代码生成与算法竞赛领域
Codex（2021.07）
-
标题：Evaluating Large Language Models Trained on Code
Codex 是在 GitHub 代码上微调的 GPT 语言模型，能从函数文档注释生成可运行代码。它催生了 GitHub Copilot，并带来了 HumanEval 这一代码评测的标准基准。
-
模型：以 GPT 语言模型为基础，在 GitHub 公开代码上继续预训练与微调，主要针对 Python。
-
HumanEval 基准：论文发布了一套全新评测集，共 164 道手写编程题。每题包含函数签名、文档注释和单元测试，评判标准是功能正确性，代码跑起来测试通过才算对，即 pass@k 指标。
-
多次采样策略：同一道题让模型生成多个候选（如 100 次），只要有一次通过测试即算解决。这利用了模型多样性来提高解题率。
在代码语料上训练的语言模型获得了真正的程序合成能力，并确立了以功能正确性评测代码模型的标准（HumanEval 至今仍是代码评测的基础基准）。论文同时讨论了代码生成技术在安全、经济方面的广泛影响。它直接催生了 GitHub Copilot，开启了 AI 编程助手时代。
AlphaCode（2022.02）
-
标题：Competition-Level Code Generation with AlphaCode
AlphaCode 是首个能在编程竞赛（Codeforces）中达到人类中位水平的 AI 代码生成系统，平均排名超过 54.3% 的参赛者。论文明确指出三个关键组件：
-
干净的大规模竞赛数据集：新建了包含竞赛题、题解和测试用例的数据集用于训练与评测（并发布了 CodeContests 评测基准）。
-
大型高效采样架构：基于 Transformer 的编码器-解码器模型，最大 41B 参数，针对快速批量采样做了优化。
-
海量采样 + 行为过滤：核心创新。对每道题生成数十万到百万级候选程序，然后：① 用示例测试用例过滤掉明显错误的；② 再对剩余程序按执行行为聚类，从每个簇中挑选代表性程序，最终只提交少量（10 份以内）。
这种广撒网、按行为筛选的策略，弥补了单次生成正确率的不足。
图文多模态与跨模态对齐
CLIP（2021.03）
-
标题：Learning Transferable Visual Models From Natural Language Supervision
-
github ：https://github.com/openai/CLIP
传统视觉模型被训练来预测固定的类别集合（如 ImageNet 的 1000 类）。想识别新概念就得重新收集标注数据、重新训练。这种监督方式既昂贵又僵化。而互联网上有海量图文对，NLP 侧早已用类似的原始文本预训练获得巨大成功，视觉侧却迟迟没有等价方案。
CLIP 用 4 亿张网络图文对，通过判断哪段文字配哪张图这个简单任务训练，让视觉模型第一次具备了零样本能：不用微调，直接靠文字描述识别图像内容。具体实现方式：
-
对比学习任务：取一个批量的图文对，让模型学会配对，即图像编码器把图编码成向量，文本编码器把文字编码成向量，正确配对的相似度高，错误配对的相似度低。
-
双塔架构：图像侧与文本侧各用一个独立的编码器（ViT 或 ResNet + Transformer），训练高效。
-
零样本分类：不需要训练分类头。分类时把类别名写成提示语（如 a photo of a dog），编码成文本向量，再与图像向量比相似度，最像谁就是哪一类。
-
提示工程：精心设计提示语模板能显著提升零样本效果。
自然语言是比固定类别标签灵活得多的监督信号。它一举打通了视觉与语言两个模态，成为文生图（DALL·E 2、Stable Diffusion 的打分器）、多模态大模型（GPT-4V 等）的基石组件，是多模态 AI 时代最重要的开创性工作之一。
Flamingo（2022.04）
-
标题：Flamingo: a Visual Language Model for Few-Shot Learning
当时的多模态模型有两个痛点：① 绑定单一任务，换任务就要重新收集数据微调；② 只能处理一张图配一段话 的简单格式，无法处理图文交错的真实网页内容。GPT-3 已在纯文本领域展示了少样本上下文学习的威力: 如何让这种能力延伸到视觉领域，是核心难题。
Flamingo 把预训练视觉模型和预训练语言模型桥接起来，打造出能看图/看视频、又能对话的多模态大模型，只需几个示例就能在数十项任务上刷新纪录。Flamingo 的架构由三部分巧妙拼接：
-
复用两大预训练模型：视觉侧用预训练的 NFNet（图像/视频编码器），语言侧用冻结的预训练大语言模型。两者都已具备强大能力，只需学会对话。
-
Perceiver Resampler：视觉特征长度不定，先用这个模块把任意数量的图像/视频帧统一压缩成固定数量的视觉 token。
-
交叉注意力层（Gated XATTN-Dense）：在语言模型的每一层之间插入交叉注意力，让文字 token 能查询视觉 token。关键设计：新增层带零初始化的门控，保证训练开始时不破坏语言模型原有能力。
-
多模态交错序列建模：直接在图文混杂的网页语料上训练，用 特殊标记让一张图可以支持多次后续引用。
Flamingo 确立了现代多模态大模型的标准范式：视觉编码器 + 连接模块 + 大语言模型 + 图文交错训练 + 上下文少样本学习。后来的 LLaVA、GPT-4V、Gemini 等都能看到它的影子，是多模态 LLM 的奠基之作。
阶段七（2020--2025）：LLM与通用推理引擎
2020 至 2025 年，Transformer 进入第七阶段：超大语言模型与通用推理引擎时代。这一阶段由三次层层递进的技术浪潮推动。
第一波是 2020 年开启的规模定律与能力涌现。以 GPT-3 为标志，研究者发现纯解码器架构的参数突破千亿、喂入海量互联网文本后，模型会发生从量变到质变的飞跃。此时不必微调内部参数，只要在对话框里给几个例子，同一个模型就能当场学会翻译、写代码、算算术等成百上千种任务。
第二波是 2022 至 2023 年的人类意图对齐。人们发现光把模型做大并不够，预训练只是模仿杂乱文字，模型容易胡编乱造、答非所问甚至输出有害言论。InstructGPT 引入人类反馈强化学习（RLHF），用人类打分排序规范模型言行；DPO 进一步省去复杂强化学习流程，直接通过好坏回答对比让模型学会符合人类喜好的表达。
第三波是 2024 至 2025 年的高效架构革新与强化学习慢思考推理。面对高昂的显存与训练成本，DeepSeek-V3 通过潜在注意力压缩与无辅助损失的混合专家设计，用极低成本练出世界顶级基座模型。DeepSeek-R1 则证明不需人类手写解题步骤，只靠纯强化学习就能激发模型自主拉长思考链条，学会自我反思、验算和纠错，开启从直觉快思考迈向深度逻辑慢思考的新纪元。
GPT-3（2020.05）
-
标题：Language Models are Few-Shot Learners
-
github ：https://github.com/openai/gpt-3
预训练 + 微调范式虽强，但每个任务仍需要成千上万条标注数据做微调。而人类学新任务，往往看几个例子甚至听一句说明就会了。语言模型能否也这样？答案此前是否定的，因为模型还不够大。
GPT-3 用 1750 亿参数证明：语言模型足够大时，不需要任何微调，仅在提示里给几个示例，就能完成翻译、问答、算术等五花八门的任务，上下文学习由此诞生。核心方法：
-
规模至上：GPT-3 有 175B 参数，是此前最大非稀疏模型的 10 倍。架构仍是 Decoder-only Transformer，方法上没有任何新花样，就是纯粹的规模放大。
-
训练数据：混合了 Common Crawl、维基百科、书籍等约 5700 亿 token 的海量语料。
-
三种使用模式，微调程度递减：① Few-shot：提示里给几个任务示例；② One-shot：给一个示例；③ Zero-shot：只给一句自然语言指令。全程不做梯度更新。
GPT-3 揭示了规模定律的威力：任务能力可以从纯语言建模中涌现，无需专门训练。提示（prompt）取代微调，成为与模型交互的新方式。这一范式直接通向指令微调、ChatGPT 与今天的提示工程，它是大模型时代的真正开端。
InstructGPT / RLHF（2022.03）
-
标题：Training language models to follow instructions with human feedback
-
github ：https://github.com/openai/following-instructions-human-feedback
把语言模型做大，并不能让它理解用户想要什么。GPT-3 经常输出不真实、有害或答非所问的内容：模型会续写而不回答。论文称之为未对齐：模型的目标（预测下一个词）与用户意图之间有鸿沟。
InstructGPT 用人类反馈强化学习（RLHF）教会 GPT-3 听懂并遵循人类指令。13 亿参数的 InstructGPT 输出优于 1750 亿参数的原版 GPT-3，对齐比规模更重要。RLHF 三步走：
-
监督微调（SFT） ：请标注员针对真实问题撰写示范回答，用这些标准答案微调 GPT-3，让它学会指令 → 回答的基本格式。
-
训练奖励模型（RM）：让模型对同一问题生成多个回答，标注员对回答排序。用这些排序数据训练一个奖励模型，它能自动给任意回答打分。
-
强化学习优化（PPO）：用奖励模型的打分作为奖励信号，通过 PPO 算法继续优化语言模型，让它生成人类偏好的回答。
这篇论文确立了对齐三件套：SFT + 奖励模型 + RLHF。它让模型能力进化到模型可用，直接奠定了 ChatGPT（InstructGPT 的对话升级版）的技术路线，也是如今所有对话大模型的标准训练流程。从学术影响看，它是大模型时代最重要论文之一。
DPO（2023.05）
-
标题：Direct Preference Optimization: Your Language Model is Secretly a Reward Model
-
github ：https://github.com/eric-mitchell/direct-preference-optimization
RLHF 是对齐的主流方法，但工程上出了名的复杂且不稳定：
-
要先训练一个奖励模型；
-
再用 PPO 强化学习优化语言模型去最大化奖励；
-
期间要边生成边训练、维持四个模型（策略、参考、奖励、价值）的显存开销，还要反复调超参数。
DPO 把 RLHF 中训练奖励模型 + 强化学习两步，压缩成一个简单的分类损失：直接用人类偏好数据优化语言模型，效果不输 PPO，却简单稳定得多。
论文的关键洞察藏在标题里：语言模型本身就是一个隐式的奖励模型。
-
数学推导：通过一个巧妙的参数变换，RLHF 的目标函数可以解析求解，最优策略能从奖励模型闭式解直接反推出来。
-
反过来用：既然策略和奖励可以互相换算，那就不需要单独的奖励模型，也不需要强化学习。直接把偏好数据（好回答 vs 坏回答）变成一个二元分类问题：提高好回答的概率、压低坏回答的概率，同时用参考模型兜底防止跑偏。
-
结果：整个对齐过程等价于训练一个普通分类器，稳定、轻量、好实现。
DPO 大幅降低了对齐的技术门槛，发布后迅速成为开源社区事实上的标准对齐方法（Zephyr 等模型均采用）。它让不用 RL 也能对齐成为共识，与 RLHF 分庭抗礼，是后 RLHF 时代最有影响力的算法论文之一。
DeepSeek-V3（2024.12）
-
标题：DeepSeek-V3 Technical Report
DeepSeek-V3 是一个 671B 总参数、每 token 仅激活 37B 的 MoE 大模型，性能比肩顶级闭源模型，而完整训练成本只需约 558 万美元（278.8 万 H800 GPU 小时），以极致的工程效率震撼业界。核心方法如下：
-
多头潜在注意力（MLA）：把 KV 缓存压缩成低维潜在向量，显存占用大幅下降，推理更便宜。
-
DeepSeekMoE 细粒度专家：专家切分得更细、更多，每个 token 激活的参数更少，表达能力却更强。
-
无辅助损失的负载均衡：创新点之一。传统 MoE 靠辅助损失强行均衡负载，但会伤害模型性能。V3 改为直接动态调节偏置项，均衡与性能兼得。
-
多 token 预测（MTP）：训练时一次预测多个后续 token，提升数据效率，还能用于推理加速（投机解码）。
-
FP8 混合精度训练：首个在超大规模上稳定使用 FP8 极低精度训练的开源模型，进一步压缩算力成本。
-
后训练：14.8 万亿 token 预训练后，经 SFT 与强化学习（含规则奖励 + 模型奖励）完成对齐。
通过架构与工程创新，顶级模型性能与超低成本可以兼得 。它开源了权重，直接冲击了堆算力才算力壁垒的叙事，为随后 DeepSeek-R1 的推理能力突破和全球开源社区的发展铺平了道路。
DeepSeek-R1（2025.01）
-
标题：DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning
o1 展示了推理模型的威力，但其训练方法秘而不宣。主流思路依赖海量人工标注的思维链数据做监督微调，成本高、上限受限于示范质量。核心问题：推理能力究竟能不能不靠人类示范、纯靠机器自己悟出来？
DeepSeek-R1 证明：不靠任何人工标注的推理范例，仅用强化学习 + 结果奖励，就能让大模型自发涌现出反思、验证等深度推理能力，性能对标 OpenAI o1，且全部开源。
论文做了两条路线的对照实验：
-
DeepSeek-R1-Zero（纯 RL）：直接在基座模型上做强化学习，不用一条人工推理数据。奖励只来自可验证的结果，包括数学题算得对不对、代码测试过不过，外加格式奖励。奇迹发生了：模型自发学会了延长思考、自我反思、回头验证、中途换思路，顿悟现象（aha moment）在训练中自然出现。缺点是可读性差、中英混杂。
-
DeepSeek-R1（冷启动 + RL）：针对 Zero 的缺陷，先用少量高质量长思维链数据冷启动，再做推理 RL；随后用拒绝采样生成新数据，与通用任务混合，进行第二轮 RL（结合规则奖励与基于人类偏好的奖励模型），兼顾推理与通用能力。
-
蒸馏：用 R1 生成的 80 万条推理数据微调 Qwen/Llama 小模型。大模型的推理模式可以有效传授给小模型，小模型甚至超过直接用 RL 训练的效果。
R1 证明了两件事：推理能力可以被纯 RL 激励出来 ，无需人工思维链标注；且这种能力可蒸馏、可迁移。它以极低成本复现并开源了 o1 级别的推理能力，直接引爆了全球开源推理模型浪潮，也登上了 Nature 封面，是 2025 年最具影响力的 AI 论文之一。
小结
纵观 2017 至 2025 年这 27 篇经典论文，推动 Transformer 进化的核心规律有三条。
第一条，模型结构越来越纯粹、越来越通用。早期 AI 依赖专家为特定任务设计专用零件：处理句子用循环网络、处理图像用卷积网络、做不同任务换不同输出头。但历史反复证明，算力和数据每上一个台阶，结构最简单、限制最少、最适合显卡并行计算的统一方案，把文字任务都变成文本生成的 T5、把图片切块当单词读的 ViT、用 68 万小时录音直接训练的 Whisper、纯粹做文字接龙的 GPT，最终都会凭规模扩展能力取得压倒性胜利。
第二条，创新重心从把模型做聪明 转向帮模型省算力和省显存。2017 至 2020 年，大家研究如何让模型更好读懂上下文，诞生了 BERT、XLNet、DeBERTa。当参数突破千亿、阅读长度超过十万字后，脑容量已足够大，真正的卡脖子难题变成高昂的算力成本和内存占用。从 Transformer-XL 的历史笔记缓存、Longformer 的局部滑动窗口，到 Switch Transformer 只唤醒单个专家的稀疏路由，再到 DeepSeek-V3 的潜在注意力压缩与无罚款负载均衡，现代架构创新的本质，就是用最少的单次计算和最小显存，撬动最大的知识容量与最长阅读视野。
第三条，学习方式从模仿人类现成答案，升维到通过强化学习自我探索与慢思考。最初模型只是在海量文章里做完形填空和文字接龙，后来通过 InstructGPT 和 DPO 学会按人类喜好打分规范言行。到了 AlphaCode 和 DeepSeek-R1，模型不再局限于模仿人类写好的步骤，而是在数学、代码等有明确对错标准的环境中成千上万次尝试与验证，自己学会深度思考、反思回溯与纠错。至此，Transformer 已从只会模仿人类说话的统计工具，进化为能主动探索未知问题、具备深度逻辑推理能力的通用智能底座。