解码策略
- sample实现了怎样的功能
不是直接选择概率最大的token，而是根据多项式分布进行采样获得下一个token
这里的概率通过设置一些策略，进行处理。例如，解码最小长度（当长度小于该值的时候，eos的采样概率为0），top-k设置（小于top-k阈值的采样概率为0），温度参数（对采样概率进一步处理）
- contrastive_search实现了怎样的功能
为了增加解码的多样性，在生成token时，即考虑生成概率分布，还要考虑和前面生成的token之间的差异性，选择相似度较小的token
相关推荐
卷福同学34 分钟前
不用服务器，不用配环境，我10分钟上线了一个AI Agent码兄科技2 小时前
Java AI智能体开发实战：从零构建智能对话系统指南Zik----2 小时前
CCswitch-codeAI科技星3 小时前
全域谱分析：无穷维超复数信息场分形统一场论 ——自然、量子、金融多重分形第一性原理完整体系（中英双语终稿）stormzhangV4 小时前
为什么你的 AI 像智障ai产品老杨4 小时前
H264 H265视频分析常见问题和排查清单项目经理老王4 小时前
OpenClaw无捆绑安装包，安全纯净版AI助手部署梦帮科技5 小时前
GRAVIS v4.0：基于Web的极速套利架构设计与实时数据流实现“码”力全开5 小时前
AI视频分析API性能优化指南liuyicenysabel5 小时前
大模型学习笔记 · 第八篇 · 进阶：偏好对齐与多卡训练