Transformer结构完全解读：从Attention到LLM

Transformer 基础架构

Transformer 的核心在于自注意力机制（Self-Attention），它能够捕捉序列中任意位置的关系。输入序列通过嵌入层转换为向量后，加入位置编码（Positional Encoding）以保留顺序信息。编码器和解码器均由多层相同结构堆叠而成，每层包含多头注意力（Multi-Head Attention）和前馈神经网络（FFN）。

自注意力计算通过查询（Query）、键（Key）、值（Value）矩阵实现： [ \text{Attention}(Q, K, V) = \text{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right)V ] 其中 (d_k) 为键向量的维度，缩放因子用于防止梯度消失。

多头注意力机制

多头注意力将输入分成多组，每组独立计算注意力后拼接结果，增强模型捕捉不同子空间信息的能力： [ \text{MultiHead}(Q, K, V) = \text{Concat}(\text{head}_1, ..., \text{head}_h)W^O ] 每个注意力头的计算为： [ \text{head}_i = \text{Attention}(QW_i^Q, KW_i^K, VW_i^V) ] 参数矩阵 (W_i^Q, W_i^K, W_i^V) 和输出投影矩阵 (W^O) 为可学习参数。

位置编码与残差连接

位置编码通过正弦和余弦函数生成，为模型提供序列位置信息： [ PE_{(pos, 2i)} = \sin(pos/10000^{2i/d_{\text{model}}}) ] [ PE_{(pos, 2i+1)} = \cos(pos/10000^{2i/d_{\text{model}}}) ] 残差连接和层归一化（LayerNorm）缓解梯度消失问题： [ \text{LayerNorm}(x + \text{Sublayer}(x)) ]

解码器的核心改进

解码器通过掩码多头注意力（Masked Multi-Head Attention）防止未来信息泄露。编码器-解码器注意力层将编码器输出作为Key和Value，解码器自注意力输出作为Query。输出层通过线性变换和softmax生成概率分布。

从Transformer到LLM的演进

大型语言模型（LLM）基于Transformer架构扩展：

模型缩放：增加层数（如GPT-3的96层）和隐藏层维度（达12288）。
训练数据：使用万亿级token的语料库，涵盖多语言和多领域文本。
优化技术：混合精度训练、梯度裁剪、学习率调度（如余弦退火）。
稀疏注意力：如Longformer的局部+全局注意力，处理长序列。

关键技术优化

Flash Attention ：通过分块计算和IO优化，降低内存占用并加速训练。
Rotary Position Embedding (RoPE) ：旋转位置编码增强远程依赖性，应用于LLaMA等模型。
激活函数：从ReLU转向GeLU/Swish，平衡梯度流动和非线性能力。

代码示例（PyTorch风格伪代码）：

python 复制代码

class TransformerBlock(nn.Module):
    def __init__(self, d_model, nhead):
        super().__init__()
        self.attn = MultiHeadAttention(d_model, nhead)
        self.ffn = FFN(d_model)
        self.norm1 = nn.LayerNorm(d_model)
        self.norm2 = nn.LayerNorm(d_model)

    def forward(self, x):
        x = self.norm1(x + self.attn(x))
        x = self.norm2(x + self.ffn(x))
        return x