GPT (Generative Pre-trained Transformer)：开启自然语言处理新时代

一、引言

在人工智能技术蓬勃发展的浪潮中，自然语言处理（NLP）作为关键领域，致力于让计算机精准理解、流畅生成人类语言。OpenAI 研发的 GPT 系列模型横空出世，凭借先进的生成预训练 Transformer 架构，掀起 NLP 领域的变革风暴，重塑文本生成、对话系统、知识问答等诸多应用格局，成为全球学界与业界瞩目的焦点。

二、GPT 基础架构解析

2.1 Transformer 架构概览

Transformer 架构是 GPT 的基石，摒弃传统 RNN 的顺序依赖，引入多头注意力机制（Multi-Head Attention）与全连接前馈网络（Feed-Forward Network）并行处理序列信息，极大提升计算效率与模型表现力。

多头注意力机制允许模型同步关注输入序列不同子空间，公式如下：

python 复制代码

import torch
import torch.nn as nn

class MultiHeadAttention(nn.Module):
    def __init__(self, d_model, num_heads):
        super(MultiHeadAttention, self).__init__()
        self.d_model = d_model
        self.num_heads = num_heads
        self.head_dim = d_model // num_heads
        assert self.head_dim * num_heads == d_model, "Invalid head configuration"

        self.q_linear = nn.Linear(d_model, d_model)
        self.k_linear = nn.Linear(d_model, d_model)
        self.v_linear = nn.Linear(d_model, d_model)
        self.out_linear = nn.Linear(d_model, d_model)

    def forward(self, query, key, value, mask=None):
        batch_size = query.size(0)

        Q = self.q_linear(query).view(batch_size, -1, self.num_heads, self.head_dim).transpose(1, 2)
        K = self.k_linear(key).view(batch_size, -1, self.num_heads, self.head_dim).transpose(1, 2)
        V = self.k_linear(value).view(batch_size, -1, self.num_heads, self.head_dim).transpose(1, 2)

        attn_scores = torch.matmul(Q, K.transpose(-2, -1)) / (self.head_dim ** 0.5)
        if mask is not None:
            attn_scores = attn_scores.masked_fill(mask == 0, float('-inf'))
        attn_probs = torch.softmax(attn_scores, dim=-1)
        output = torch.matmul(attn_probs, V).transpose(1, 2).contiguous().view(batch_size, -1, self.d_model)
        return self.out_linear(output)

前馈网络则对每个位置独立施加非线性变换，增强模型表征复杂语义能力，形如：FFN(x) = max(0, xW1 + b1)W2 + b2，代码实现为：

python 复制代码

class FeedForward(nn.Module):
    def __init__(self, d_model, d_ff):
        super(FeedForward, self).__init__()
        self.linear1 = nn.Linear(d_model, d_ff)
        self.linear2 = nn.Linear(d_ff, d_model)

    def forward(self, x):
        x = torch.nn.functional.relu(self.linear1(x))
        return self.linear2(x)

2.2 GPT 架构特色

GPT 基于 Transformer 解码器架构构建，采用自注意力机制捕捉前文语境信息，生成后续文本。区别于经典 Transformer 的编码器 - 解码器结构，GPT 舍去编码器部分，专注文本生成，输入文本经词嵌入与位置嵌入编码，逐词生成输出序列；位置嵌入采用正弦、余弦函数组合，为模型赋予位置感知，代码如下：

python 复制代码

class GPTEmbedding(nn.Module):
    def __init__(self, vocab_size, d_model, max_len):
        super(GPTEmbedding, self).__init__()
        self.token_embedding = nn.Embedding(vocab_size, d_model)
        self.position_embedding = nn.Embedding(max_len, d_model)

    def forward(self, x):
        seq_len = x.size(1)
        positions = torch.arange(seq_len, dtype=torch.long, device=x.device).unsqueeze(0)
        token_embeds = self.token_embedding(x)
        position_embeds = self.position_embedding(positions)
        return token_embeds + position_embeds

模型堆叠多层解码器模块，每层含多头自注意力与前馈网络，借助掩码（mask）屏蔽未来信息，确保生成过程单向依赖前文，契合语言生成逻辑。

三、GPT 预训练范式

3.1 海量数据驱动

GPT 预训练动用海量文本数据，涵盖互联网网页、书籍、学术论文、社交媒体等多元语料，数据清洗、去噪后，通过字节对编码（Byte-Pair Encoding，BPE）分词成子词单元，兼顾词法普遍性与罕见词捕捉，为模型提供丰富语义知识储备，奠定强大泛化基础。

3.2 语言建模目标

GPT 预训练核心目标是无监督语言建模，给定文本序列 [x1, x2,..., xn]，模型最大化预测下一词概率，即 P(xi|x1, x2,..., xi - 1)。采用似然估计与交叉熵损失训练，代码示例：

python 复制代码

import torch.nn.functional as F

def compute_loss(logits, targets):
    loss = F.cross_entropy(logits.view(-1, logits.size(-1)), targets.view(-1))
    return loss