DeepSeek开源了内部推理框架DeepInfer，这是公司内部用于大规模模型推理服务的框架，官方说法是"分享我们的生产级技术栈，帮助社区降低计算成本、减少能源消耗，让AI更可负担"。框架采用Apache License 2.0许可协议开源，一个第三方信源观察到，DeepInfer发布后8小时内星标数超过6300。aihot.news不同时间点抓取到的仓库数据有差异：较早时间点显示星标17.6千、关注者38、分叉1.8千，之后更新的数据显示星标18.1千、关注者40、分叉1.9千，两组数字均来自同一来源的不同条目，时间先后关系不明确，这里分别注明。
DeepSeek说明DeepInfer目前支撑的是DeepSeek-V4.1-Flash模型的高吞吐低延迟推理。但第三方分析指出，这次发布覆盖的范围有限，只跑通了DeepSeek-V4.1-Flash这一个模型，硬件限定在英伟达SM100 GPU或华为昇腾950 NPU，而且只覆盖离线推理，不是完整的在线服务栈。换句话说，开源出来的是生产系统的一部分，而非DeepSeek线上对外提供服务时使用的全套基础设施。
技术层面，DeepInfer支持分布式推理、推测解码（speculative decoding，先用小模型或草稿机制预测后续内容再做验证的加速技术）、SWA Bounded Replay 以及结构化输出。其中一个具体机制是DSpark，最多提前起草5个Token（Token 是模型处理文本时切分出的最小单元），用置信度估计来安排验证顺序，减少完整计算的次数。另一个机制是Bounded Replay，推理时只重新计算140个Token长度的后缀，这个长度刚好覆盖滑动注意力窗口的范围，从而缩短prefill（预填充阶段）的耗时。框架里还有一个环境变量DEEPINFER_USE_NEXTN_DECODE，控制草稿的最大长度，默认值是5。
硬件适配上，DeepInfer分别支持英伟达和华为昇腾两条路线，构建环境要求Python 3.12、GCC 13.0以上版本，英伟达平台需要CUDA 13，昇腾平台需要CANN 9.2。两条路线并行支持，说明DeepSeek在推理框架设计时没有把自己限定在单一芯片供应商上。
同时开源的deepseek-recipe是一个分词编解码组件，官方说明它与DeepSeek官方API的处理逻辑完整对齐，安装要求Python 3.10以上版本，代码和公开文档采用MIT许可证。该组件里设置了几个默认的max_tokens数值：非思考模式下为8192，思考模式下为65536，思考模式且设置最大努力程度时为131072。deepseek-recipe仓库的星标数为2.0千，关注者2人，分叉246个，规模明显小于DeepInfer主仓库。
一个信源提到，DeepSeek此前已经开源过一系列大模型、编译工具TileLang以及推理算子库，这次把内部推理框架也开源，是在此基础上的延续动作。另有一条社交媒体评论提到美国政府近期在联邦机构范围内禁用了DeepSeek，评论认为开源推理框架的时间点与这一禁令形成对比，但这条信息只是单一来源的个人评论，不构成独立核实的事实陈述。
目前能确认的是开源范围、许可协议、支持的硬件型号和模型种类，以及几个具体的性能优化机制。DeepInfer后续是否会扩展支持更多模型、是否会补齐在线服务栈的部分，以及社区贡献会如何影响这个项目的走向，现有材料都没有给出答案。
原文地址：tools.wflynn.cn/aitools/tre...
关注公众号「YourTools」，每天推送 GitHub 趋势与开源工具速报：
