采样策略是推理系统里参数最少、影响最直接的组件:同一模型,换一套采样参数,输出从严谨到癫狂只在一行代码之间。这篇文章把主流策略全部实现并指出各自的失效模式------它们不是并列的选项,而是一组有明确语义分工的旋钮。
一、共享骨架:logits 处理管线
所有采样策略都是对 logits 的一连串变换。工程实现把它们组成一条可配置的管线,顺序有讲究:
python
import torch
class Sampler:
def __init__(self, temp=1.0, top_k=0, top_p=1.0, min_p=0.0,
rep_penalty=1.0, last_n=64):
self.temp, self.top_k, self.top_p = temp, top_k, top_p
self.min_p, self.rep_penalty, self.last_n = min_p, rep_penalty, last_n
def __call__(self, logits, generated_ids):
logits = logits[-1].float() # (vocab,)
# 1) 重复惩罚: 已出现 token 的 logit 分歧化
if self.rep_penalty != 1.0 and generated_ids:
recent = generated_ids[-self.last_n:]
idx = torch.tensor(recent, device=logits.device)
logits.scatter_reduce_(0, idx, logits[idx],
reduce="amax") # 惩罚取历史最高次
logits[idx] = torch.where(logits[idx] > 0,
logits[idx] / self.rep_penalty,
logits[idx] * self.rep_penalty)
# 2) 温度: 缩放分布锐度 (放最后统一做也行, 但top-p应在缩放后)
logits = logits / max(self.temp, 1e-5)
probs = logits.softmax(-1)
# 3) top-k: 只留概率最高的 k 个
if self.top_k > 0:
kth = torch.topk(probs, self.top_k).values[-1]
probs = torch.where(probs < kth, torch.zeros_like(probs), probs)
# 4) top-p: 累积概率截断 (核采样)
if self.top_p < 1.0:
sp, si = probs.sort(descending=True)
cum = sp.cumsum(-1)
keep = cum - sp < self.top_p # 越过阈值的第一个也保留
mask = torch.zeros_like(probs, dtype=torch.bool)
mask[si[keep]] = True
probs = probs * mask
# 5) min-p: 与头部概率成比例的动态阈值
if self.min_p > 0.0:
thresh = probs.max() * self.min_p
probs = torch.where(probs < thresh, torch.zeros_like(probs), probs)
return torch.multinomial(probs / probs.sum(), 1).item()
顺序的关键:top-p 必须在温度缩放之后------温度改变分布形状,先截断再缩温会得到与参数名义值不符的保留集合。
二、各旋钮的语义与失效模式
temperature 是分布的锐度:趋零退化为贪心(严格但重复),过高分布趋平(多样但胡言)。它的一个常见误用是当作"创造性旋钮"------高温产生的多样性是均匀噪声,不是创造力;真正的多样性来自更宽的 top-p 配合合理温度。top-k 的问题是阈值静态:vocab 里 k=50 在头部极度集中时太宽(放进了垃圾尾巴),在分布平缓时太窄(截掉了合理候选)------它不感知当前分布的形状。top-p 修复了这一点(阈值随分布自适应:头部越尖、保留越少),但有自己的失效:分布极尖时保留集合可以缩到一两个 token(几乎贪心)、极平时则可能保留上百个(噪声放大),它约束的是"累计概率"而非"相对可能性" 。min-p 是对 top-p 缺口的精准补丁:阈值定义为头部概率的固定比例(p_max × min_p),分布尖时自动收紧、平时自动放宽,参数语义是"候选至少要是冠军的百分之几"------0.05 到 0.1 是常见甜点,在高温下尤其稳定,这也是它近年逐渐成为默认的原因。
三、重复惩罚与频率惩罚:为什么要在 logit 空间做
重复的根源不是采样而是模型本身(自回归的复读回路),所以惩罚必须在采样前施加。两种变体的语义差异:presence/rep 惩罚 对"出现过"一视同仁(logit 减一个常数),frequency 惩罚 按出现次数递增(logit 减 count × 系数)。实现细节决定成败:其一,惩罚应作用于正 logit 除、负 logit 乘(否则会把本已不可能的 token 推得更不可能,无害但浪费);其二,窗口 last_n 很关键------无限期惩罚会破坏合法重复(代码里的变量名、诗的韵脚),只惩罚近期才符合"防复读"的本意;其三,贪心解码下惩罚同样生效,此时它是确定性的行为修改而非采样技巧。结构化复读(段落级复读)logit 惩罚常不够,更有效的手段是 n-gram 阻断(直接把会造成 n-gram 重复的候选置为 -inf)------粗暴但对"复读机病"是根治级方案。
四、选型建议
默认值的工程共识:交互式对话 temperature 0.7--1.0 配 min-p 0.05;代码生成 temperature 0.1--0.3(多样性是负资产)配贪心或小 top-p;创意写作 temperature 1.0+ 配 top-p 0.95 与 presence 惩罚。一个常被忽略的原则:采样参数是产品行为的一部分,应当版本化并随请求记录------同一模型的两个版本因采样参数不同表现迥异,评测若不固定采样设置,结论全部失真。最后,所有策略的计算成本都近于零(一次 softmax 加几次掩码),没有任何理由让它们停留在默认值:读懂每个旋钮改的是什么分布形状,比背推荐参数重要得多。