【第四章:大模型(LLM)】05.LLM实战: 实现GPT2-(6)贪婪编码,temperature及tok原理及实现

第四章:大模型(LLM)

第五部分:LLM实战: 实现GPT2

第六节:贪婪编码,temperature及tok原理及实现


1. 贪婪解码(Greedy Decoding)

在 GPT-2 等自回归语言模型中,文本生成是一步步预测下一个 token 的过程。
贪婪解码(Greedy Decoding)是最简单的一种生成策略:

  • 在每一步预测中,直接选择概率最大的下一个 token。

  • 优点:速度快、实现简单。

  • 缺点:可能陷入局部最优,导致生成的文本缺乏多样性。

公式:

PyTorch 实现示例:

python 复制代码
def greedy_decode(model, tokenizer, prompt, max_length=50):
    tokens = tokenizer.encode(prompt, return_tensors='pt')
    for _ in range(max_length):
        logits = model(tokens).logits
        next_token = torch.argmax(logits[:, -1, :], dim=-1)
        tokens = torch.cat([tokens, next_token.unsqueeze(0)], dim=1)
    return tokenizer.decode(tokens[0])

2. Temperature 参数

在生成任务中,Temperature 用于控制模型输出分布的"平滑度":

  • Temperature = 1:正常 softmax 概率。

  • Temperature < 1:放大高概率 token 的差距,使模型更保守(确定性更高)。

  • Temperature > 1:平滑概率分布,使低概率 token 更容易被采样(多样性更高)。

修改 logits 的方式:

实现:

python 复制代码
def apply_temperature(logits, temperature=1.0):
    return logits / temperature

3. Token 原理

GPT-2 使用 Byte Pair Encoding (BPE) 分词:

  • 将文本切分为子词单元(subword),常见词保持完整,生僻词拆分成多个子单元。

  • 英文可以按空格分词,但 BPE 能更好地兼顾词汇表大小与覆盖率。

  • 中文 BPE 会将常用字、常用词直接作为 token,罕见组合才拆分。

优点:

  • 减少词表大小,降低模型参数量。

  • 能处理 OOV(未登录词)问题。

简单 BPE 分词示例:

python 复制代码
from transformers import GPT2Tokenizer
tokenizer = GPT2Tokenizer.from_pretrained("gpt2")
tokens = tokenizer.encode("机器学习是一门有趣的学科")
print(tokens)         # Token ID 列表
print(tokenizer.decode(tokens))  # 再解码回文本

4. 结合实现:带 Temperature 的贪婪解码

python 复制代码
import torch

def generate_with_temperature(model, tokenizer, prompt, max_length=50, temperature=1.0):
    tokens = tokenizer.encode(prompt, return_tensors='pt')
    for _ in range(max_length):
        logits = model(tokens).logits[:, -1, :]
        logits = logits / temperature  # 调整温度
        probs = torch.softmax(logits, dim=-1)
        next_token = torch.argmax(probs, dim=-1)
        tokens = torch.cat([tokens, next_token.unsqueeze(0)], dim=1)
    return tokenizer.decode(tokens[0])

# 使用示例
# result = generate_with_temperature(model, tokenizer, "从前有座山", temperature=0.7)
# print(result)

5. 小结表格

概念 功能 优点 缺点
贪婪解码 每步选概率最大 token 简单、快 缺乏多样性
Temperature < 1 让模型更确定 连贯性高 容易重复
Temperature > 1 增加多样性 生成有创意 容易偏离主题
Token(BPE) 压缩词表,子词编码 减少参数 分词依赖预训练
相关推荐
hsjkdhs1 小时前
万字详解C++之构造函数析构函数
开发语言·c++
安东尼肉店2 小时前
Android compose屏幕适配终极解决方案
android
Lin_Aries_04212 小时前
容器化简单的 Java 应用程序
java·linux·运维·开发语言·docker·容器·rpc
2501_916007472 小时前
HTTPS 抓包乱码怎么办?原因剖析、排查步骤与实战工具对策(HTTPS 抓包乱码、gzipbrotli、TLS 解密、iOS 抓包)
android·ios·小程序·https·uni-app·iphone·webview
techdashen2 小时前
12分钟讲解Python核心理念
开发语言·python
山海不说话2 小时前
Java后端面经(八股——Redis)
java·开发语言·redis
郝学胜-神的一滴3 小时前
谨慎地迭代函数所收到的参数 (Effective Python 第31条)
开发语言·python·程序人生·软件工程
feiyangqingyun3 小时前
基于Qt和FFmpeg的安卓监控模拟器/手机摄像头模拟成onvif和28181设备
android·qt·ffmpeg
大虾别跑3 小时前
vc无法启动
java·开发语言
郭老二3 小时前
【JAVA】从入门到放弃-01-HelloWorld
java·开发语言