终结序列建模：Transformer 架构深度解析与实战指南

终结序列建模：Transformer 架构深度解析与实战指南

在深度学习的发展史上，2017 年发布的《Attention is All You Need》无疑是一座里程碑。它提出的 Transformer 架构彻底取代了 RNN（LSTM/GRU）在 NLP 领域的统治地位，并直接开启了如今大模型（LLM）的狂飙时代。

---

一、 核心概念：为什么 Transformer 能统治 AI？

传统的序列模型（如 LSTM）是串行执行的：为了计算第 100 个词，必须先计算前 99 个词。这导致了两个致命缺陷：无法并行化、长距离依赖丢失。

Transformer 抛弃了递归，完全基于 注意力机制（Attention）。

1. 自注意力（Self-Attention）：模型在处理一个词时，能同时"看到"句中所有其他的词，并计算它们之间的关联权重。
2. 并行计算：所有位置的计算是同时进行的，极大地提升了训练效率。
3. 位置编码（Positional Encoding）：由于模型是并行的，它失去了词序感，因此需要通过数学手段将位置信息"注入"词向量。

---

二、 常用使用技巧：API 与模块拆解

在 PyTorch 中，我们可以直接调用高级 API，也可以手动堆叠模块。

2.1 简单入门：直接调用 PyTorch Transformer 层

import torch
import torch.nn as nn

# 定义参数
d_model = 512  # 词向量维度
nhead = 8      # 多头注意力的头数

# 创建一个 Transformer 编码器层
encoder_layer = nn.TransformerEncoderLayer(d_model=d_model, nhead=nhead)
transformer_encoder = nn.TransformerEncoder(encoder_layer, num_layers=6)

# 模拟输入: [seq_len=10, batch_size=32, d_model=512]
src = torch.randn(10, 32, 512)
output = transformer_encoder(src)

print(f"输出维度: {output.shape}") # [10, 32, 512]

2.2 高级技巧：多头注意力 (Multi-Head Attention) 的手动实现

理解多头注意力是掌握 Transformer 的关键。它允许模型在不同的子空间学习信息（比如一个头关注主谓关系，另一个头关注代词指代）。

# 核心公式：Attention(Q, K, V) = softmax(QK^T / sqrt(dk))V
import torch.nn.functional as F

def scaled_dot_product_attention(q, k, v, mask=None):
    d_k = q.size(-1)
    # 计算得分
    scores = torch.matmul(q, k.transpose(-2, -1)) / torch.sqrt(torch.tensor(d_k))
    
    if mask is not None:
        scores = scores.masked_fill(mask == 0, -1e9)
        
    weights = F.softmax(scores, dim=-1)
    return torch.matmul(weights, v), weights

2.3 常见错误：Mask 掩码丢失

• 现象：在训练解码器（Decoder）时，模型"预知"了未来的词，导致训练 Loss 极低，但推理时全乱了。
• 原因 ：没有设置 Causal Mask（因果掩码） 。在生成任务中，第 i i i 个词不应该看到第 i + 1 i+1 i+1 个词。
• 修正 ：使用 nn.Transformer 时务必生成 generate_square_subsequent_mask。

2.4 调试技巧：梯度检查

Transformer 包含大量的 LayerNorm 和残差连接。如果模型不收敛：

1. 检查学习率预热 (Warmup)：Transformer 对学习率极其敏感，通常需要前 4000 步缓慢增加学习率。
2. 可视化注意力图 ：打印 weights 矩阵，看模型是否真的在关注相关的词。

---

三、 相关知识讲解

3.1 什么是多头 (Multi-Head)？

多头就像是给模型装了多副眼镜。每副眼镜看句子的角度不同：有的看语法，有的看语义，有的看标点。最后将这些视角合并（Concat），得到最终表征。

3.2 缩放点积 (Scaled Dot-Product)

为什么要在 Q K T QK^T QKT 之后除以 d k \sqrt{d_k} dk ？

因为当维度 d k d_k dk 很大时，点积结果会非常大，导致经过 Softmax 后梯度极其微小（进入饱和区）。除以 d k \sqrt{d_k} dk 可以让数值回归到标准正态分布，保证梯度稳定。

---

四、 实战演练：构建一个文本分类 Transformer

这是一个基于 PyTorch 的简化版 Transformer 分类器。

4.1 环境准备

pip install torch numpy

4.2 完整代码实现

import torch
import torch.nn as nn

class TransformerClassifier(nn.Module):
    def __init__(self, vocab_size, d_model, nhead, num_classes):
        super().__init__()
        self.embedding = nn.Embedding(vocab_size, d_model)
        # 位置编码 (简化版：直接使用可学习的参数)
        self.pos_embedding = nn.Parameter(torch.zeros(1, 100, d_model))
        
        encoder_layer = nn.TransformerEncoderLayer(d_model=d_model, nhead=nhead, batch_first=True)
        self.transformer = nn.TransformerEncoder(encoder_layer, num_layers=3)
        
        self.fc = nn.Linear(d_model, num_classes)

    def forward(self, x):
        # x shape: [batch, seq_len]
        batch_size, seq_len = x.shape
        out = self.embedding(x) + self.pos_embedding[:, :seq_len, :]
        
        # Transformer 编码
        out = self.transformer(out) # [batch, seq_len, d_model]
        
        # 池化：取序列第一个位置作为分类特征 (类似 BERT 的 [CLS])
        out = out[:, 0, :] 
        return self.fc(out)

# 快速测试
vocab_size = 1000
model = TransformerClassifier(vocab_size, 128, 4, 2)
dummy_input = torch.randint(0, vocab_size, (8, 20)) # 8个样本，每个长20
output = model(dummy_input)
print(f"分类预测输出维度: {output.shape}") # [8, 2]

4.3 预期效果

该模型可以处理变长的序列输入。通过增加 num_layers 和 d_model，你可以将其扩展为处理更复杂的文本分类任务（如情感分析）。

---