文本生成解码策略

解码策略

  1. sample实现了怎样的功能

不是直接选择概率最大的token,而是根据多项式分布进行采样获得下一个token

这里的概率通过设置一些策略,进行处理。例如,解码最小长度(当长度小于该值的时候,eos的采样概率为0),top-k设置(小于top-k阈值的采样概率为0),温度参数(对采样概率进一步处理)

  1. contrastive_search实现了怎样的功能

为了增加解码的多样性,在生成token时,即考虑生成概率分布,还要考虑和前面生成的token之间的差异性,选择相似度较小的token

相关推荐
lpfasd1232 小时前
2026年第30周科技社区趋势周报:开放权重之争与AI Agent的破局
人工智能·科技
佛光芳林4 小时前
AI 情报局:用 PowerMem + SeekDB 做一个多 Agent 记忆小游戏
人工智能
通问AI4 小时前
2026年AI短剧技术现状:全链路AIGC生产已达95%,但用户完播率不足15%
人工智能·aigc
_Jimmy_4 小时前
Agent引用数据库知识过时的增量同步方案
人工智能·python·langchain
qq_454245034 小时前
Systemprompt 体系全览:形式化公理驱动的分层系统设计
人工智能
大龄码农有梦想4 小时前
传统的 BPMN 工作流审批和 AI 工作流有什么区别?
人工智能·流程引擎·工作流·ai agent·ai工作流·审批流·智能体平台
DO_Community4 小时前
Claude Opus 5 现已上线 DigitalOcean AI 推理云
人工智能·llm·agent·claude
幸福指北4 小时前
🚀 开源了,一个人 + AI 肝出一个 AI 终端 | AShell 技术分享
运维·人工智能·ai·终端
可以飞的话4 小时前
一、机器学习概述
人工智能·机器学习
sunneo5 小时前
磐石2.0发布,科学建模新突破
人工智能