解码策略
- sample实现了怎样的功能
不是直接选择概率最大的token，而是根据多项式分布进行采样获得下一个token
这里的概率通过设置一些策略，进行处理。例如，解码最小长度（当长度小于该值的时候，eos的采样概率为0），top-k设置（小于top-k阈值的采样概率为0），温度参数（对采样概率进一步处理）
- contrastive_search实现了怎样的功能
为了增加解码的多样性，在生成token时，即考虑生成概率分布，还要考虑和前面生成的token之间的差异性，选择相似度较小的token
相关推荐
明朝百晓生41 分钟前
强化学习【Monte Carlo Learning][MC Basic 算法]云知谷5 小时前
【C++基本功】C++适合做什么，哪些领域适合哪些领域不适合？rit84324996 小时前
基于MATLAB实现基于距离的离群点检测算法初学小刘7 小时前
深度学习：从图片数据到模型训练（十分类）递归不收敛7 小时前
大语言模型（LLM）入门笔记：嵌入向量与位置信息之墨_8 小时前
【大语言模型】—— 自注意力机制及其变体（交叉注意力、因果注意力、多头注意力）的代码实现从孑开始9 小时前
ManySpeech.MoonshineAsr 使用指南涛涛讲AI9 小时前
一段音频多段字幕，让音频能够流畅自然对应字幕 AI生成视频，扣子生成剪映视频草稿可触的未来，发芽的智生9 小时前
新奇特：黑猫警长的纳米世界，忆阻器与神经网络的智慧WWZZ20259 小时前
快速上手大模型：机器学习2（一元线性回归、代价函数、梯度下降法）