解码采样策略的实现:temperature、top-p、min-p与重复惩罚

采样策略是推理系统里参数最少、影响最直接的组件:同一模型,换一套采样参数,输出从严谨到癫狂只在一行代码之间。这篇文章把主流策略全部实现并指出各自的失效模式------它们不是并列的选项,而是一组有明确语义分工的旋钮。

一、共享骨架:logits 处理管线

所有采样策略都是对 logits 的一连串变换。工程实现把它们组成一条可配置的管线,顺序有讲究:

python 复制代码
import torch

class Sampler:
def __init__(self, temp=1.0, top_k=0, top_p=1.0, min_p=0.0,
rep_penalty=1.0, last_n=64):
self.temp, self.top_k, self.top_p = temp, top_k, top_p
self.min_p, self.rep_penalty, self.last_n = min_p, rep_penalty, last_n

def __call__(self, logits, generated_ids):
logits = logits[-1].float()                        # (vocab,)

# 1) 重复惩罚: 已出现 token 的 logit 分歧化
if self.rep_penalty != 1.0 and generated_ids:
recent = generated_ids[-self.last_n:]
idx = torch.tensor(recent, device=logits.device)
logits.scatter_reduce_(0, idx, logits[idx],
reduce="amax")          # 惩罚取历史最高次
logits[idx] = torch.where(logits[idx] > 0,
logits[idx] / self.rep_penalty,
logits[idx] * self.rep_penalty)

# 2) 温度: 缩放分布锐度 (放最后统一做也行, 但top-p应在缩放后)
logits = logits / max(self.temp, 1e-5)
probs = logits.softmax(-1)

# 3) top-k: 只留概率最高的 k 个
if self.top_k > 0:
kth = torch.topk(probs, self.top_k).values[-1]
probs = torch.where(probs < kth, torch.zeros_like(probs), probs)

# 4) top-p: 累积概率截断 (核采样)
if self.top_p < 1.0:
sp, si = probs.sort(descending=True)
cum = sp.cumsum(-1)
keep = cum - sp < self.top_p        # 越过阈值的第一个也保留
mask = torch.zeros_like(probs, dtype=torch.bool)
mask[si[keep]] = True
probs = probs * mask

# 5) min-p: 与头部概率成比例的动态阈值
if self.min_p > 0.0:
thresh = probs.max() * self.min_p
probs = torch.where(probs < thresh, torch.zeros_like(probs), probs)

return torch.multinomial(probs / probs.sum(), 1).item()

顺序的关键:top-p 必须在温度缩放之后------温度改变分布形状,先截断再缩温会得到与参数名义值不符的保留集合。

二、各旋钮的语义与失效模式

temperature 是分布的锐度:趋零退化为贪心(严格但重复),过高分布趋平(多样但胡言)。它的一个常见误用是当作"创造性旋钮"------高温产生的多样性是均匀噪声,不是创造力;真正的多样性来自更宽的 top-p 配合合理温度。top-k 的问题是阈值静态:vocab 里 k=50 在头部极度集中时太宽(放进了垃圾尾巴),在分布平缓时太窄(截掉了合理候选)------它不感知当前分布的形状。top-p 修复了这一点(阈值随分布自适应:头部越尖、保留越少),但有自己的失效:分布极尖时保留集合可以缩到一两个 token(几乎贪心)、极平时则可能保留上百个(噪声放大),它约束的是"累计概率"而非"相对可能性" 。min-p 是对 top-p 缺口的精准补丁:阈值定义为头部概率的固定比例(p_max × min_p),分布尖时自动收紧、平时自动放宽,参数语义是"候选至少要是冠军的百分之几"------0.05 到 0.1 是常见甜点,在高温下尤其稳定,这也是它近年逐渐成为默认的原因。

三、重复惩罚与频率惩罚:为什么要在 logit 空间做

重复的根源不是采样而是模型本身(自回归的复读回路),所以惩罚必须在采样前施加。两种变体的语义差异:presence/rep 惩罚 对"出现过"一视同仁(logit 减一个常数),frequency 惩罚 按出现次数递增(logit 减 count × 系数)。实现细节决定成败:其一,惩罚应作用于正 logit 除、负 logit 乘(否则会把本已不可能的 token 推得更不可能,无害但浪费);其二,窗口 last_n 很关键------无限期惩罚会破坏合法重复(代码里的变量名、诗的韵脚),只惩罚近期才符合"防复读"的本意;其三,贪心解码下惩罚同样生效,此时它是确定性的行为修改而非采样技巧。结构化复读(段落级复读)logit 惩罚常不够,更有效的手段是 n-gram 阻断(直接把会造成 n-gram 重复的候选置为 -inf)------粗暴但对"复读机病"是根治级方案。

四、选型建议

默认值的工程共识:交互式对话 temperature 0.7--1.0 配 min-p 0.05;代码生成 temperature 0.1--0.3(多样性是负资产)配贪心或小 top-p;创意写作 temperature 1.0+ 配 top-p 0.95 与 presence 惩罚。一个常被忽略的原则:采样参数是产品行为的一部分,应当版本化并随请求记录------同一模型的两个版本因采样参数不同表现迥异,评测若不固定采样设置,结论全部失真。最后,所有策略的计算成本都近于零(一次 softmax 加几次掩码),没有任何理由让它们停留在默认值:读懂每个旋钮改的是什么分布形状,比背推荐参数重要得多。

相关推荐
鶴哥只手遮天11 分钟前
《WeKnora 深度技术解析》第 5 章 数据底座:多租户模型、仓储与迁移
人工智能
guuguo27 分钟前
【做个开源软件】Mac 上 node 进程莫名吃掉 6G 内存?给 AI / MCP 做了个深度归因和安全回收工具
人工智能·开源·github
双鱼大猫1 小时前
opencode 吃掉 100G 空间:Agent 会话数据要分级清理
人工智能·agent·ai编程
用户5833339816681 小时前
RPA 流程的异常处理设计:重试、降级与告警,生产环境实战指南
人工智能
sanxing三省2 小时前
DeepSeek Harness 到底是什么?标题里最重的词其实不是「DeepSeek」
前端·人工智能·deepseek
合尘猫3 小时前
用 6GB 显卡搭短视频产线:MiniMax H3 + ffmpeg 全流程实录(55 秒片 / 40 分钟)
人工智能·音视频
ZONGYUAN-ROOT3 小时前
【自愈治理】自愈式数据管道:大规模公开数据采集的治理方法
人工智能
Starry-sky(jing)3 小时前
Hermes Agent 升级 v0.23.2:先辨更新渠道,再看 CLI 退出残留修复
人工智能·python·ai agent