speculativedecoding - speculativedecoding技术,学习,经验文章

小七-七牛开发者

3 小时前

Coding Agent 推理性能优化：Decode、KV Cache 与多 Session 调度Modal 公开了他们的 Coding Agent 推理服务优化实践，以 Kimi K2.6、SGLang 和 B200 为基础，将单用户 Decode 性能提升约 2.8 倍，Replica（单个模型服务实例）的吞吐提升约 5.6 倍。