Transformer结构完全解读：从Attention到LLM

Transformer 基础架构

Transformer 的核心在于自注意力机制（Self-Attention），它能够捕捉序列中任意位置的关系。输入序列通过嵌入层转换为向量后，加入位置编码（Positional Encoding）以保留顺序信息。编码器和解码器均由多层相同结构堆叠而成，每层包含多头注意力（Multi-Head Attention）和前馈神经网络（FFN）。

自注意力计算通过查询（Query）、键（Key）、值（Value）矩阵实现： $\\text{Attention}(Q, K, V) = \\text{softmax}\\left(\\frac{QK\^T}{\\sqrt{d_k}}\\right)V$ 其中 (d_k) 为键向量的维度，缩放因子用于防止梯度消失。

多头注意力机制

多头注意力将输入分成多组，每组独立计算注意力后拼接结果，增强模型捕捉不同子空间信息的能力： $\\text{MultiHead}(Q, K, V) = \\text{Concat}(\\text{head}_1, ..., \\text{head}_h)W\^O$ 每个注意力头的计算为： $\\text{head}_i = \\text{Attention}(QW_i\^Q, KW_i\^K, VW_i\^V)$ 参数矩阵 (W_i^Q, W_i^K, W_i^V) 和输出投影矩阵 (W^O) 为可学习参数。

位置编码与残差连接

位置编码通过正弦和余弦函数生成，为模型提供序列位置信息： $PE_{(pos, 2i)} = \\sin(pos/10000\^{2i/d_{\\text{model}}})$ $PE_{(pos, 2i+1)} = \\cos(pos/10000\^{2i/d_{\\text{model}}})$ 残差连接和层归一化（LayerNorm）缓解梯度消失问题： $\\text{LayerNorm}(x + \\text{Sublayer}(x))$

解码器的核心改进

解码器通过掩码多头注意力（Masked Multi-Head Attention）防止未来信息泄露。编码器-解码器注意力层将编码器输出作为Key和Value，解码器自注意力输出作为Query。输出层通过线性变换和softmax生成概率分布。

从Transformer到LLM的演进

大型语言模型（LLM）基于Transformer架构扩展：

模型缩放：增加层数（如GPT-3的96层）和隐藏层维度（达12288）。
训练数据：使用万亿级token的语料库，涵盖多语言和多领域文本。
优化技术：混合精度训练、梯度裁剪、学习率调度（如余弦退火）。
稀疏注意力：如Longformer的局部+全局注意力，处理长序列。

关键技术优化

Flash Attention ：通过分块计算和IO优化，降低内存占用并加速训练。
Rotary Position Embedding (RoPE) ：旋转位置编码增强远程依赖性，应用于LLaMA等模型。
激活函数：从ReLU转向GeLU/Swish，平衡梯度流动和非线性能力。

代码示例（PyTorch风格伪代码）：

python 复制代码

class TransformerBlock(nn.Module):
    def __init__(self, d_model, nhead):
        super().__init__()
        self.attn = MultiHeadAttention(d_model, nhead)
        self.ffn = FFN(d_model)
        self.norm1 = nn.LayerNorm(d_model)
        self.norm2 = nn.LayerNorm(d_model)

    def forward(self, x):
        x = self.norm1(x + self.attn(x))
        x = self.norm2(x + self.ffn(x))
        return x