DeepInfer 是 DeepSeek于2026 年 10 月正式全面开源的生产级大模型推理框架，
其核心定位是将驱动 DeepSeek 自身大规模线上服务的那套经过极致优化的"骨架"开放给社区。
DeepInfer是专为DS模型(如V4.1-Flash)定制，以更低的成本实现高吞吐、低延迟的推理服务。
1 定位与理念
DeepSeek指出模型服务成本取决于推理框架，其效率决定了算力成本与电力消耗。
DeepInfer能帮助开发者和企业优化大规模推理的吞吐与延迟，从而降低 AI 服务的整体成本。
当前发布的是离线推理版本，但已包含在生产环境中验证过的核心调度与算子能力。
2 核心特性与组件
DeepInfer 集成一整套深度优化的技术栈，其核心能力可概括为以下几个层面：
2.1 分布式并行策略
Attention DP / 均衡 CP：数据并行注意力计算，并支持均衡的上下文并行。
MoE EP + EPLB(专家并行与负载均衡)：这是针对 MoE（混合专家）模型的关键优化。
解码采用Wide-EP策略，可将专家并行(EP)规模扩展至64-128 路，大幅降低单卡权重搬运量。
EPLB(专家负载均衡)则通过统计和复制热点专家，将各GPU的负载差异控制在极低水平。
例如moe_lb约 1.09，即最慢卡仅比平均负载多9%的工作量。
2.2 推测解码(Speculative Decoding)
DSpark + 置信度调度验证：使用草稿 Token 加速解码，并根据置信度动态调度验证时机，以平衡速度与准确性。可通过环境变量DEEPINFER_ENABLE_MTP_VARLEN=1启用。
2.3 SWA Bounded Replay
一种优化 Decode 阶段 Prefill 计算量的技术。
它通过只重放一个有界后缀(而非全部上下文)来减少计算量。
对于 V4.1，默认配置会保留覆盖SWA(滑动窗口注意力)窗口及最大回溯长度的 Token 数。
如KEEP_TOKENS=140。
2.4 调度与推理保障
1）异步调度(零开销批调度器)：
默认开启，使 CPU 的批组织与 GPU 计算重叠，隐藏调度开销。
2）确定性推理：
在英伟达平台上，通过设置特定环境变量(如 DEEPINFER_BATCH_INVARIANT=1)和固定随机种子，可确保相同输入必然产生相同输出，这对调试和需要可复现性的场景至关重要。
3）结构化输出：
支持通过正则表达式、JSON Schema 或 EBNF 语法来约束模型的生成格式，直接输出合规的结构化数据。
5）配套组件：
deepseek-recipe，一个用Rust编写、提供 Python 绑定的 Token 编解码库。
其核心价值在于确保社区自托管 DeepInfer 时的 API 行为(如消息格式转换、提示词渲染)与 DeepSeek 官方 API 完全对齐，消除了部署时的兼容性顾虑。
3 硬件与环境
DeepInfer 一个显著的亮点是同时兼容英伟达和华为昇腾两大硬件平台。
| 平台 | 支持的硬件 | 软件环境要求 |
|---|---|---|
| NVIDIA | SM100 架构 GPU（如 Blackwell） | Linux, Python 3.12, CUDA 13, GCC >= 13.0 |
| 华为昇腾 | Ascend 950 NPU | Linux, Python 3.12, CANN 9.2, GCC >= 13.0 |
4 总结
DeepInfer通过针对特定模型的极致优化(如 Wide-EP、EPLB、SWA Bounded Replay)、生产级的稳定性特性(如确定性推理、异步调度)，以及对英伟达/昇腾双平台的支持，为有能力管理大规模 GPU 集群的团队提供了一个经过实战检验的高性能推理选项。
需要注意的是，其生产部署的最小有效单元(如64卡 Prefill + 64卡Decode)门槛较高，它主要面向的是具备集群资源的企业级用户和研究者，而非个人开发者。
inference
DeepInfer