解码策略
- sample实现了怎样的功能
不是直接选择概率最大的token，而是根据多项式分布进行采样获得下一个token
这里的概率通过设置一些策略，进行处理。例如，解码最小长度（当长度小于该值的时候，eos的采样概率为0），top-k设置（小于top-k阈值的采样概率为0），温度参数（对采样概率进一步处理）
- contrastive_search实现了怎样的功能
为了增加解码的多样性，在生成token时，即考虑生成概率分布，还要考虑和前面生成的token之间的差异性，选择相似度较小的token
相关推荐
一个处女座的程序猿2 分钟前
AI之Agent之VibeCoding：《Vibe Coding Kills Open Source》翻译与解读Jay Kay8 分钟前
GVPO:Group Variance Policy Optimization风指引着方向19 分钟前
归约操作优化：ops-math 的 Sum/Mean/Max 实现机器之心19 分钟前
英伟达世界模型再进化，一个模型驱动所有机器人！机器人的GPT时刻真正到来纯爱掌门人25 分钟前
终焉轮回里，藏着 AI 与人类的答案人工智能AI技术29 分钟前
Transformer：大模型的“万能骨架”uesowys1 小时前
Apache Spark算法开发指导-Factorization machines classifier人工智能AI技术1 小时前
预训练+微调：大模型的“九年义务教育+专项补课”aircrushin2 小时前
中国多模态大模型历史性突破：智源Emu3自回归统一范式技术深度解读Lsx_2 小时前
前端视角下认识 AI Agent 和 LangChain