在生成式AI席卷全球的今天，Transformer早已不是2017年论文中小众的序列建模方案，而是贯穿自然语言处理、计算机视觉、多模态大模型的通用基础架构。无论是GPT系列、LLaMA、BERT，还是ViT、Stable Diffusion，底层均以Transformer为核心骨架。
本文将跳出通俗比喻，从核心机制、架构细节、数学逻辑、工程优化四个维度，深度拆解Transformer，兼顾理论严谨性与可读性，适合有一定深度学习基础的开发者与研究者阅读。
一、Transformer诞生的背景：打破序列建模的瓶颈
在Transformer问世前，循环神经网络（RNN、LSTM、GRU）是序列数据处理的主流方案，但这类架构存在天然缺陷：
-
串行计算限制：RNN必须按时间步逐词处理序列，无法并行化，训练效率极低；
-
长依赖失效：梯度消失/爆炸问题导致模型无法捕捉长序列中远距离的语义关联；
-
特征提取局限：依赖门控机制记忆信息，难以建模全局上下文的复杂关联。
卷积神经网络（CNN）虽可并行计算，但感受野有限，无法高效捕获全局序列依赖。
2017年，Google Brain在论文《Attention Is All You Need》中提出Transformer，彻底抛弃RNN与CNN，仅依靠自注意力机制实现全局依赖建模，同时支持全序列并行计算，一举解决了传统架构的核心痛点。
二、Transformer核心架构：编码器-解码器全拆解
标准Transformer采用编码器-解码器（Encoder-Decoder） 结构，整体由N层堆叠的编码器、N层堆叠的解码器、嵌入层、位置编码、输出线性层与Softmax组成。
2.1 整体架构流程
-
输入处理：源序列/目标序列通过词嵌入层转换为向量，叠加位置编码注入序列顺序信息；
-
编码器编码：堆叠编码器提取输入序列的全局上下文特征；
-
解码器生成：结合编码器输出与目标序列前缀，自回归生成输出序列；
-
输出映射：通过线性层+Softmax将向量映射为词表概率分布。
2.2 编码器：上下文理解模块
编码器由N×(多头自注意力 + 前馈网络) 堆叠而成，每个子层均包含残差连接+层归一化（Layer Norm），即LayerNorm(x + SubLayer(x))。
编码器核心子层
-
多头自注意力（Multi-Head Attention）：无掩码，允许每个token关注序列中所有token，提取全局上下文关联；
-
前馈网络（FFN）：两层全连接层，激活函数为GELU/ReLU，公式：FFN(x) = max(0, xW1 + b1)W2 + b2；
-
残差与层归一化：解决深度网络训练的梯度消失问题，保证模型可堆叠至数十层。
2.3 解码器：序列生成模块
解码器比编码器多一个编码器-解码器注意力（Cross Attention） 子层，同时自注意力层增加掩码机制（Masked Multi-Head Attention）。
解码器三大子层
-
掩码多头自注意力：通过上三角掩码屏蔽未来token，确保生成时仅依赖已生成的前缀序列；
-
交叉注意力：以解码器输出为Query，编码器输出为Key/Value，建模输入与输出序列的关联；
-
前馈网络：与编码器结构一致。
三、核心灵魂：自注意力机制深度解析
自注意力（Self-Attention）是Transformer的核心，其本质是通过向量相似度计算token间的关联权重，实现全局信息聚合。
3.1 单头自注意力数学原理
- 向量投影：输入向量X分别投影为Query（Q）、Key（K）、Value（V）三个矩阵：
Q = XWq，K = XWk，V = XWv
- 相似度计算：计算Q与K的点积，得到token间的关联分数，除以√dk（dk为Q/K维度）防止数值过大：
Attention Score = QK^T / √dk
- 权重归一化：通过Softmax将分数转换为0-1的权重分布：
Attention Weight = Softmax(QK^T / √dk)
- 信息聚合：使用权重对V加权求和，得到输出：
Output = Attention Weight × V
3.2 多头自注意力：多维度关联建模
单头自注意力仅能捕捉单一类型的语义关联，多头注意力将Q/K/V切分为h个头，并行计算自注意力后拼接输出，实现多维度、细粒度的关联建模。
公式：
MultiHead(Q,K,V) = Concat(head1, head2, ..., headh)Wo
其中headi = Attention(QWiq, KWik, VWiv)
多头注意力的优势：同时捕捉语法、语义、指代、长距离依赖等多种关联，大幅提升模型表达能力。
3.3 掩码注意力：生成式任务的关键
掩码注意力通过上三角全0矩阵屏蔽未来位置的token，确保解码器在生成第t个token时，无法看到t+1及之后的信息，保证自回归生成的合理性。
四、序列顺序注入：位置编码（Positional Encoding）
Transformer无递归结构，无法感知序列顺序，因此需要位置编码为向量注入位置信息。
论文中采用正弦余弦位置编码，公式：
PE(pos, 2i) = sin(pos / 10000^(2i/dmodel))
PE(pos, 2i+1) = cos(pos / 10000^(2i/dmodel))
其中pos为token位置，i为向量维度，dmodel为模型维度。
该编码的优势：可泛化到训练时未见过的长序列，无需学习即可表达位置关系。
五、Transformer的工程优化与演进
原始Transformer为机器翻译设计，后续在大模型时代经历了多项关键优化，衍生出两大主流分支：
5.1 编码型架构：BERT
• 仅保留编码器，采用双向自注意力；
• 适用于理解类任务（分类、抽取、问答）；
• 核心创新：掩码语言模型（MLM）预训练。
5.2 解码型架构：GPT系列
• 仅保留解码器，采用单向掩码自注意力；
• 适用于生成类任务（对话、写作、代码）；
• 核心创新：自回归预训练+ scaling law（模型缩放定律）。
5.3 关键工程优化
-
预归一化（Pre-LN）：将LayerNorm移至子层输入，提升深度模型训练稳定性；
-
Flash Attention：优化注意力计算的内存访问，速度提升5-10倍；
-
相对位置编码：替换绝对位置编码，更好建模token间的相对距离；
-
稀疏注意力：降低长序列计算复杂度，支持万级token上下文。
六、Transformer的通用性：从NLP到全模态AI
Transformer的核心优势是全局依赖建模+并行计算，使其突破NLP领域，成为全模态通用架构：
-
计算机视觉：ViT将图像切分为patch序列，用Transformer替代CNN；
-
多模态模型：CLIP、文心一言、GPT-4，将文本、图像、语音统一为序列建模；
-
语音与音频：Wav2Vec 2.0用Transformer处理语音序列，实现语音识别与合成。
七、总结：Transformer为何定义大模型时代
从技术本质来看，Transformer的核心价值在于：
-
全局建模能力：自注意力打破长依赖限制，真正理解上下文语义；
-
高效并行训练：抛弃串行递归，适配GPU/TPU并行计算，支撑万亿参数大模型训练；
-
全模态通用性：统一序列建模范式，成为AGI的基础架构。
Attention Is All You Need 不仅是一句论文口号，更是AI从专用模型走向通用智能的核心密码。未来，Transformer仍将持续演进，成为通用人工智能最核心的技术底座。