DeepSeek开源周,第六弹再次来袭,DeepSeek-V3/R1推理系统总结


周末,deepseek 还在更新,太拼了!!!


DeepSeek-V3/R1 推理系统通过**跨节点专家并行(EP)**技术优化了吞吐量和延迟,主要设计原则包括:

  1. 跨节点专家并行(EP)

    • 通过扩大批量大小提升 GPU 矩阵计算效率,增加吞吐量。

    • 将专家分布到多个 GPU 上,减少每个 GPU 的内存访问需求,降低延迟。

    • 但 EP 增加了系统复杂性,需要解决跨节点通信和负载均衡问题。

  2. 大规模跨节点 EP

    • 模型稀疏性高(每层 256 个专家中仅激活 8 个),需要超大规模批量处理来保证每个专家的批量足够大。

    • 在预填充阶段和推理阶段分别采用不同的并行策略(如 Routed Expert EP32 和 EP144),以适应不同阶段的计算需求。

  3. 计算-通信重叠

    • 通过"双批次"策略,将通信开销隐藏在计算中,提升吞吐量。

    • 预填充阶段:交替执行两个微批次,通信开销被计算隐藏。

    • 推理阶段:通过 5 阶段流水线和注意力层拆分实现通信与计算的重叠。

  4. 负载均衡

    • 预填充负载均衡器

      平衡 GPU 的核心注意力计算和输入负载。

    • 推理负载均衡器

      平衡 KVCache 使用率和请求分配。

    • 专家并行负载均衡器

      平衡每个 GPU 上的专家计算负载,避免某些 GPU 成为性能瓶颈。


在线服务数据:

  • 硬件

    所有推理服务运行在 H800 GPU 上,采用与训练一致的精度(FP8 和 BF16 格式)。

  • 节点使用情况

    白天高峰期最多部署 278 个节点,平均 226.75 个节点,日成本约 $87,072。

  • 性能

    • 每个 H800 节点输入吞吐量约 73.7k tokens/s(预填充阶段),输出吞吐量约 14.8k tokens/s(推理阶段)。

    • 24 小时内总输入 token 数达 608B,输出 token 数 168B,平均输出速度 20--22 tokens/s。

  • 收入与成本

    • 若按 R1 定价收费,日收入可达 $562,027,成本利润率 545%。

    • 实际收入较低,原因是 DeepSeek-V3 定价更低、部分服务免费以及夜间折扣。


总结:

DeepSeek-V3/R1 推理系统通过跨节点 EP、计算-通信重叠和负载均衡技术,实现了高吞吐量和低延迟,同时通过动态资源分配优化了成本和性能。

git地址:

https://github.com/deepseek-ai/open-infra-index/blob/main/202502OpenSourceWeek/day_6_one_more_thing_deepseekV3R1_inference_system_overview.md

相关推荐
草梅友仁33 分钟前
草梅 Auth 1.1.0 发布与最新动态 | 2025 年第 30 周草梅周报
开源·github·ai编程
charlee443 小时前
PandasAI连接LLM进行智能数据分析
ai·数据分析·llm·pandasai·deepseek
Xi_Xu9 小时前
Xget:下一代开源资源获取加速引擎,让你的文件下载、储存库克隆和镜像拉取快如闪电
开源·github
不摸鱼9 小时前
创业找不到方向?不妨从行业卧底开始 | 不摸鱼的独立开发者日报(第66期)
人工智能·开源·资讯
未来智慧谷9 小时前
阿里开源Qwen3-Coder,编程大模型进入高效时代
开源·qwen3-coder
DisonTangor9 小时前
商汤InternLM发布最先进的开源多模态推理模型——Intern-S1
人工智能·深度学习·开源·aigc
DisonTangor13 小时前
Mistral AI开源 Magistral-Small-2507
人工智能·语言模型·开源·aigc
说私域20 小时前
技术赋能与营销创新:开源链动2+1模式AI智能名片S2B2C商城小程序的流量转化路径研究
人工智能·小程序·开源
FIT2CLOUD飞致云1 天前
里程碑 | 1Panel开源面板GitHub Star数量突破30,000个!
运维·开源
FIT2CLOUD飞致云1 天前
七月月报丨MaxKB在企业环境中实现AI落地的具体场景盘点
人工智能·开源·deepseek