解码策略
- sample实现了怎样的功能
不是直接选择概率最大的token，而是根据多项式分布进行采样获得下一个token
这里的概率通过设置一些策略，进行处理。例如，解码最小长度（当长度小于该值的时候，eos的采样概率为0），top-k设置（小于top-k阈值的采样概率为0），温度参数（对采样概率进一步处理）
- contrastive_search实现了怎样的功能
为了增加解码的多样性，在生成token时，即考虑生成概率分布，还要考虑和前面生成的token之间的差异性，选择相似度较小的token
相关推荐
william_yangshun40 分钟前
【AI Agent 实战】agent-vision-toolkit 中文版：给纯文本模型（DeepSeek）装上视觉能力智能体与具身智能1 小时前
TVA具身智能的概念、架构与应用（19）AI智能体工作室1 小时前
生产级 RAG 检索增强架构实战：向量数据库、混合检索（Hybrid Search）、RRF 融合与重排（Rerank）全链路geinvse_seg1 小时前
我做了个 AI 架构审查员，把整个微服务项目通读了一遍，还顺手做成了 Skill李帅朋1 小时前
微分基本定义笔记醍醐实验室1 小时前
下一代端到端全模态（Omni）模型解密：离散音频 Token 化与极速双工流式交互架构米小虾1 小时前
你的 Agent 有 1000 万上下文，为什么第 50 轮就开始失忆？东风破_1 小时前
Text2SQL ：用自然语言操作 SQLite 数据库吴佳浩 Alben1 小时前
Agent 怎么做自动化评测？构建端到端的 Agent Evaluation 体系G***技1 小时前
告别“云端依赖”：LH707 如何重构 AI 视频监控的底层逻辑？