decoding - decoding技术,学习,经验文章

Briwisdom

17 小时前

Speculative Decoding：用小模型给大模型“打草稿“，推理加速 2-3×副标题：大模型每生成一个 token 都要搬一次 KV Cache——瓶颈在搬数据，不在算。投机解码做的事就是：用更快的方式"猜"出几个 token 凑成一批，大模型一次验证，用"批处理"省掉重复搬运。