大语言模型 Greedy Decoding，贪心解码 / 贪心搜索

llm 大语言模型 Greedy Decoding，贪心解码 / 贪心搜索*

✅ 一句话解释

大模型生成文字时，每一步直接选当前概率最高的 token（词元），不看后面、不随机采样、不保留多个候选 ，公式：

KaTeX parse error: Can't use function '\(' in math mode at position 18: ...t=\arg\max P(w|\̲(̲y_t=\arg\max P(...

✅ 特点

1. 确定性 ：同一个 prompt 每次跑出来结果一模一样，等价于 temperature=0、do_sample=False
2. 速度快：只维护一条生成路径，算力开销最小
3. 缺点（重点） ：局部最优≠全局最优，很容易重复、卡循环、句子呆板，缺少多样性

✅ 和其他解码对比

• Greedy：只留1条、选最高分、无随机，适合代码、结构化输出、需要稳定复现的场景
• Beam Search：同时保留多条候选路径，质量更好，但更慢
• Top-p / Top-k Sampling：随机采样，有创造性，聊天、写文章常用

✅ 举个小例子

Prompt：1+1=

模型输出概率：=2（0.8）、=3（0.1）

greedy 直接选 2，不会有别的结果。

如果你想要，我可以给你一段 Hugging Face 里 greedy 解码的极简代码。