DeepSeek开源周,第六弹再次来袭,DeepSeek-V3/R1推理系统总结


周末,deepseek 还在更新,太拼了!!!


DeepSeek-V3/R1 推理系统通过**跨节点专家并行(EP)**技术优化了吞吐量和延迟,主要设计原则包括:

  1. 跨节点专家并行(EP):

    • 通过扩大批量大小提升 GPU 矩阵计算效率,增加吞吐量。

    • 将专家分布到多个 GPU 上,减少每个 GPU 的内存访问需求,降低延迟。

    • 但 EP 增加了系统复杂性,需要解决跨节点通信和负载均衡问题。

  2. 大规模跨节点 EP:

    • 模型稀疏性高(每层 256 个专家中仅激活 8 个),需要超大规模批量处理来保证每个专家的批量足够大。

    • 在预填充阶段和推理阶段分别采用不同的并行策略(如 Routed Expert EP32 和 EP144),以适应不同阶段的计算需求。

  3. 计算-通信重叠:

    • 通过"双批次"策略,将通信开销隐藏在计算中,提升吞吐量。

    • 预填充阶段:交替执行两个微批次,通信开销被计算隐藏。

    • 推理阶段:通过 5 阶段流水线和注意力层拆分实现通信与计算的重叠。

  4. 负载均衡:

    • 预填充负载均衡器

      平衡 GPU 的核心注意力计算和输入负载。

    • 推理负载均衡器

      平衡 KVCache 使用率和请求分配。

    • 专家并行负载均衡器

      平衡每个 GPU 上的专家计算负载,避免某些 GPU 成为性能瓶颈。


在线服务数据:

  • 硬件

    所有推理服务运行在 H800 GPU 上,采用与训练一致的精度(FP8 和 BF16 格式)。

  • 节点使用情况

    白天高峰期最多部署 278 个节点,平均 226.75 个节点,日成本约 $87,072。

  • 性能

    • 每个 H800 节点输入吞吐量约 73.7k tokens/s(预填充阶段),输出吞吐量约 14.8k tokens/s(推理阶段)。

    • 24 小时内总输入 token 数达 608B,输出 token 数 168B,平均输出速度 20--22 tokens/s。

  • 收入与成本

    • 若按 R1 定价收费,日收入可达 $562,027,成本利润率 545%。

    • 实际收入较低,原因是 DeepSeek-V3 定价更低、部分服务免费以及夜间折扣。


总结:

DeepSeek-V3/R1 推理系统通过跨节点 EP、计算-通信重叠和负载均衡技术,实现了高吞吐量和低延迟,同时通过动态资源分配优化了成本和性能。

git地址:

https://github.com/deepseek-ai/open-infra-index/blob/main/202502OpenSourceWeek/day_6_one_more_thing_deepseekV3R1_inference_system_overview.md

相关推荐
行百里er16 分钟前
【Spring Insight 技术分享】跨服务调用链路是怎么串起来的?
后端·spring·开源
我才是银古25 分钟前
单模型分层与视频自动生成
视频制作·deepseek·opencode
风云1 小时前
两条 Pipe、五个命门:Vane.NET 内核为什么长这样
开源·网络编程·.net·架构设计·vane.net
分布式存储与RustFS4 小时前
Zeppelin 笔记本重启就丢:三个环境变量把 .zpln 存进 RustFS 桶
运维·云原生·开源·对象存储·分布式存储·s3·性能基准
guuguo5 小时前
【做个开源软件】Mac 上 node 进程莫名吃掉 6G 内存?给 AI / MCP 做了个深度归因和安全回收工具
人工智能·开源·github
一切皆有可能!!7 小时前
【SoduWork测评】本机跑源码,找到并修了7个Bug
windows·开源·bug·ai编程·soduwork
sanxing三省7 小时前
DeepSeek Harness 到底是什么?标题里最重的词其实不是「DeepSeek」
前端·人工智能·deepseek
冬奇Lab21 小时前
一天一个开源项目(第263篇):江山时序 —— 纯静态的中国历史交互地图,从三家分晋拖到今天,还能让 AI 查地名
开源
wflynn1 天前
GitHub 日榜趋势速报 | 2026-11-18
开源·github
世界是一片荒原1 天前
给 DeepSeek Harness 做多会话工作台:四格原生会话、Agent 脉络图与压缩预警
deepseek