文本生成解码策略

解码策略

  1. sample实现了怎样的功能

不是直接选择概率最大的token,而是根据多项式分布进行采样获得下一个token

这里的概率通过设置一些策略,进行处理。例如,解码最小长度(当长度小于该值的时候,eos的采样概率为0),top-k设置(小于top-k阈值的采样概率为0),温度参数(对采样概率进一步处理)

  1. contrastive_search实现了怎样的功能

为了增加解码的多样性,在生成token时,即考虑生成概率分布,还要考虑和前面生成的token之间的差异性,选择相似度较小的token

相关推荐
会写代码的柯基犬几秒前
DeepSeek vs Kimi vs Qwen —— AI 生成俄罗斯方块代码效果横评
人工智能·llm
Mintopia27 分钟前
OpenClaw 是什么?为什么节后热度如此之高?
人工智能
爱可生开源社区38 分钟前
DBA 的未来?八位行业先锋的年度圆桌讨论
人工智能·dba
叁两3 小时前
用opencode打造全自动公众号写作流水线,AI 代笔太香了!
前端·人工智能·agent
前端付豪4 小时前
LangChain记忆:通过Memory记住上次的对话细节
人工智能·python·langchain
strayCat232554 小时前
Clawdbot 源码解读 7: 扩展机制
人工智能·开源
王鑫星4 小时前
SWE-bench 首次突破 80%:Claude Opus 4.5 发布,Anthropic 的野心不止于写代码
人工智能
lnix4 小时前
当“大龙虾”养在本地:我们离“反SaaS”的AI未来还有多远?
人工智能·aigc
泉城老铁4 小时前
Dify知识库如何实现多关键词AND检索?
人工智能