大语言模型 Greedy Decoding,贪心解码 / 贪心搜索

llm 大语言模型 Greedy Decoding,贪心解码 / 贪心搜索*

✅ 一句话解释

大模型生成文字时,每一步直接选当前概率最高的 token(词元),不看后面、不随机采样、不保留多个候选 ,公式:

KaTeX parse error: Can't use function '\(' in math mode at position 18: ...t=\arg\max P(w|\̲(̲y_t=\arg\max P(...

✅ 特点

  1. 确定性 :同一个 prompt 每次跑出来结果一模一样,等价于 temperature=0、do_sample=False
  2. 速度快:只维护一条生成路径,算力开销最小
  3. 缺点(重点) :局部最优≠全局最优,很容易重复、卡循环、句子呆板,缺少多样性

✅ 和其他解码对比

  • Greedy:只留1条、选最高分、无随机,适合代码、结构化输出、需要稳定复现的场景
  • Beam Search:同时保留多条候选路径,质量更好,但更慢
  • Top-p / Top-k Sampling:随机采样,有创造性,聊天、写文章常用

✅ 举个小例子

Prompt:1+1=

模型输出概率:=2(0.8)、=3(0.1)

greedy 直接选 2,不会有别的结果。

如果你想要,我可以给你一段 Hugging Face 里 greedy 解码的极简代码。

相关推荐
RobinDevNotes5 小时前
Claude Code 剪视频,不上传、不要 API Key
人工智能·python·音视频·开发工具·ipython
stormzhangV5 小时前
Coding Agent,通往 AGI 的重要一环
人工智能·agent·ai编程
Bowen_J6 小时前
Apple Foundation Models:Apple AI核心框架
人工智能·ai编程·apple
IT_陈寒7 小时前
Redis那个过期删除策略,差点让我线上崩了
前端·人工智能·后端
阿里云大数据AI技术7 小时前
AI 原生大数据服务 ADA 快速入门:完成首次对话式数据分析
大数据·人工智能
字节跳动开源7 小时前
小红书/抖音图文排版利器——一个杂志风skill
人工智能·开源·设计
Bacon7 小时前
我把 Codex 塞进了 Touch Bar:一个 30pt 高的额度与对话面板
人工智能
衡石科技7 小时前
企业级 BI 的安全治理:衡石如何贯通认证、数据权限与审计
大数据·人工智能·安全·商业智能
网易云信8 小时前
折叠屏适配,iPhone Duo 真机已交付:网易云信 IMUIKit Swift 的实践
人工智能
Be for thing9 小时前
Pytorch【12】transforms进阶|图像数据增强实战,提升模型泛化能力
人工智能·pytorch·机器学习