DeepSeek 开源推理框架 DeepInfer:KVCache 存三天、投机解码少验 30% 是怎么做到的10 月 20 日,DeepSeek 把线上跑 V4.1 Flash 的推理框架 DeepInfer 开源了,同时放出 Token 编解码组件 deepseek-recipe 和一份推理部署 Q&A。媒体标题多是「大模型普惠」,我更关心的是那份 Q&A:官方称单个集群每天服务 155 万亿 token,并把 Prefill / Decode 怎么分、KVCache 怎么存三天、投机解码怎么省验证算力都写了出来。这是继 2025 年 2 月开源周之后,DeepSeek 又一次把自己的推理系统讲得这么细。