「日拱一码」066 深度学习——Transformer

Transformer是一种基于自注意力机制（Self-Attention）的深度学习模型架构，由Vaswani等人在2017年的论文《Attention Is All You Need》中首次提出。它彻底改变了自然语言处理(NLP)领域，并逐渐扩展到计算机视觉、语音处理等多个领域

特点

自注意力机制：允许模型在处理每个词时考虑输入序列中的所有词
并行计算：相比RNN可以并行处理整个序列
位置编码：通过数学方法表示词的位置信息
多头注意力：从多个子空间学习不同的表示

主要组件

编码器(Encoder)：处理输入序列
解码器(Decoder)：生成输出序列
注意力机制：计算输入元素间的相关性
前馈网络：对注意力输出进行非线性变换

代码示例

python 复制代码

import torch
import torch.nn as nn
import math


class PositionalEncoding(nn.Module):
    def __init__(self, d_model, max_len=5000):
        super().__init__()
        pe = torch.zeros(max_len, d_model)
        position = torch.arange(0, max_len, dtype=torch.float).unsqueeze(1)
        div_term = torch.exp(torch.arange(0, d_model, 2).float() * (-math.log(10000.0) / d_model))
        pe[:, 0::2] = torch.sin(position * div_term)
        pe[:, 1::2] = torch.cos(position * div_term)
        pe = pe.unsqueeze(0)
        self.register_buffer('pe', pe)

    def forward(self, x):
        return x + self.pe[:, :x.size(1)]


class TransformerModel(nn.Module):
    def __init__(self, vocab_size, d_model=128, nhead=4, num_layers=2):
        super().__init__()
        self.embedding = nn.Embedding(vocab_size, d_model)
        self.pos_encoder = PositionalEncoding(d_model)
        encoder_layer = nn.TransformerEncoderLayer(d_model, nhead)
        self.transformer_encoder = nn.TransformerEncoder(encoder_layer, num_layers)
        self.fc = nn.Linear(d_model, vocab_size)

    def forward(self, src):
        src = self.embedding(src) * math.sqrt(self.embedding.embedding_dim)
        src = self.pos_encoder(src)
        output = self.transformer_encoder(src)
        output = self.fc(output)
        return output


vocab_size = 1000  # 词汇表大小
model = TransformerModel(vocab_size)
src = torch.randint(0, vocab_size, (10, 32))  # 序列长度10, batch大小32
output = model(src)
print(f"输入形状: {src.shape}")  # torch.Size([10, 32])
print(f"输出形状: {output.shape}")  # torch.Size([10, 32, 1000])