解码策略
- sample实现了怎样的功能
不是直接选择概率最大的token，而是根据多项式分布进行采样获得下一个token
这里的概率通过设置一些策略，进行处理。例如，解码最小长度（当长度小于该值的时候，eos的采样概率为0），top-k设置（小于top-k阈值的采样概率为0），温度参数（对采样概率进一步处理）
- contrastive_search实现了怎样的功能
为了增加解码的多样性，在生成token时，即考虑生成概率分布，还要考虑和前面生成的token之间的差异性，选择相似度较小的token
相关推荐
AAA阿giao21 小时前
用 AI 工程师 Trae Solo ，一个人打造“绘本岛”：从想法到上线只需三步Blossom.11821 小时前
大模型量化压缩实战：从FP16到INT4的生产级精度保持之路K2_BPM1 天前
打通 AI 与业务的 “最后一公里”：流程优化的底层逻辑与三种战略选择Ro Jace1 天前
三国华容道（横刀立马）移动策略taxunjishu1 天前
Modbus TCP 转 Modbus RTU物联网网关实现光伏产线西门子与罗克韦尔PLC互联User_芊芊君子1 天前
从“能说会道”到“自主思考”：一文读懂AI的过去、现在与未来半臻（火白）1 天前
Meta DreamGym：用合成经验，重构智能体训练的“低成本革命”快乐非自愿1 天前
数智化时代：AI技术重构企业财务管理系统的底层逻辑与实践草莓熊Lotso1 天前
Git 本地操作入门：版本控制基础、跨平台部署与仓库核心流程Ma0407131 天前
【论文阅读17】-LLM-TSFD：一种基于大型语言模型的工业时间序列人机回路故障诊断方法