推测解码算法在 MTT GPU 的应用实践目前主流的大模型自回归解码每一步都只生成一个token, 尽管kv cache等技术可以提升解码的效率，但是单个样本的解码速度依然受限于访存瓶颈，即模型需要频繁从内存中读取和写入数据，此时GPU的利用率有限。为了解决这种问题，VLLM框架中提出的continues batching的推理方式则是充分利用批量推理来缓解或避免访存瓶颈，极大的提升了推理系统的吞吐量。不同于VLLM等框架在系统层面的加速优化，本文所想要介绍的推测解码(speculative decoding)技术则是聚焦于算法层面的加速优化，其