DeepSeek 在开源周第六天再次发文，中文原文、官方号在知乎
引言
2025年2月，深度求索（DeepSeek）发布了V3/R1推理系统，凭借545%的成本利润率（按行业标准折算为85%）和单节点8,575 tokens/s的吞吐量，刷新了大模型推理性能的认知。本文将深度解析其技术实现，并探讨对行业的影响。
一、核心技术突破
1.1 专家并行（Expert Parallelism, EP）革命
什么是专家并行？
在MoE（Mixture-of-Experts）模型中，每个输入仅激活部分专家（如DeepSeek V3每层激活8/256个专家）。EP技术通过将专家分布到多GPU，实现：
- 吞吐量提升：单批次处理量扩大32-144倍
- 内存优化：单卡仅需存储部分专家参数
- 延迟降低：减少单卡计算负载
实现细节
| 阶段 | 并行策略 | 节点数 | 单卡负载 |
|---|---|---|---|
| 预填充阶段 | EP32 + DP32 | 4节点 | 9路由专家+1共享专家 |
| 解码阶段 | EP144 + DP144 | 18节点 | 2路由专家+1共享专家 |
关键技术价值：相比传统单卡推理，EP实现数量级成本下降，H800集群效率超越英伟达H200 1.5倍
1.2 通信-计算重叠优化
双批次流水线
将请求拆分为Micro-Batch，通过交替执行隐藏通信延迟：
预填充阶段：
[计算MB1] -> [通信MB1][计算MB2] -> [通信MB2]
解码阶段：
五级流水线：Attention拆分+多阶段重叠
性能收益
- 通信延迟降低40%
- GPU空闲时间减少至<5%
1.3 三级负载均衡体系
| 负载类型 | 优化目标 | 实现方法 |
|---|---|---|
| 预填充负载 | 注意力计算均衡 | 动态分配输入token数 |
| 解码负载 | KVCache内存均衡 | 请求数平均分配 |
| 专家负载 | 热点专家分散 | 专家使用频率监控+动态迁移 |
技术亮点：通过实时监控实现<2%的负载偏差，避免木桶效应
二、系统架构全景
核心组件：
- 路由层：智能请求分发
- 缓存系统：56.3%的磁盘KV缓存命中率
- 弹性调度：白天全节点推理，夜间部分节点转训练
- 精度控制：FP8通信 + BF16计算
三、性能数据解读
3.1 核心指标
| 指标 | 数值 | 行业对比 |
|---|---|---|
| 日均吞吐量 | 776B tokens | 10倍于传统方案 |
| 单H800节点解码吞吐 | 14.8k tokens/s | H200的1.5倍 |
| 平均响应延迟 | 45-50ms | 竞品平均120ms+ |
| 单位token成本 | $0.00002 | 行业平均$0.0001 |
3.2 成本结构
pie title 日成本构成（$87,072） "GPU租赁" : 72000 "机房运维" : 12000 "网络带宽" : 3072
3.3 动态扩缩容
- 日间峰值：278节点
- 夜间低谷：180节点
- 智能预测：基于LSTM的负载预测模型
四、行业影响分析
4.1 技术启示
- MaaS规模效应：用户量达千万级时，边际成本骤降
- 超节点趋势：320卡紧耦合系统成为新标杆
- 精度创新：FP8+BF16混合精度实践
4.2 市场冲击
- 价格战加速：行业成本认知从2/M
- 硬件需求变化：NVLink带宽重要性凸显
- 商业模式创新：免费服务引流+API变现的组合策略
4.3 未来挑战
- 万卡级EP系统的稳定性
- 多模态场景的扩展
- 动态稀疏性的极致优化
五、开源生态建设
DeepSeek同步开源五大核心模块：
- FlashMLA：高效注意力计算库
- DeepGEMM：矩阵运算优化
- DualPipe：双流水线调度器
- EPLB：专家负载均衡器
- profile-data：性能分析数据集
第 1 天 - FlashMLA
适用于 Hopper GPU 的高效 MLA 解码内核
针对可变长度序列进行了优化，在生产中经过实战测试
🔗 FlashMLA GitHub 存储库
✅ BF16 支持
✅ 分页 KV 缓存（块大小 64）
⚡ 性能：3000 GB/s 内存受限 |H800 上的 BF16 580 TFLOPS 计算绑定
第 2 天 - DeepEP
很高兴推出 DeepEP - 第一个用于 MoE 模型训练和推理的开源 EP 通信库。
🔗 DeepEP GitHub 存储库
✅ 高效和优化的 all-to-all 通信
✅ NVLink 和 RDMA 的节点内和节点间支持
✅ 用于训练和推理预填充的高吞吐量内核
✅ 用于推理解码的低延迟内核
✅ 原生 FP8 调度支持
✅ 灵活的 GPU 资源控制，用于计算通信重叠
第 3 天 - DeepGEMM
DeepGEMM 简介 - 一个 FP8 GEMM 库，支持密集 GEMM 和 MoE GEMM，为 V3/R1 训练和推理提供支持。
🔗 DeepGEMM GitHub 存储库
⚡ 在 Hopper GPU 上高达 1350+ FP8 TFLOPS
✅ 没有繁重的依赖，像教程一样干净
✅ 完全 Just-In-Time 编译
✅ ~300 行的核心逻辑 - 但在大多数矩阵大小中都优于专家调优的内核
✅ 支持密集布局和两种 MoE 布局
第 4 天 - 优化的并行策略
✅ DualPipe - 一种双向管道并行算法，用于 V3/R1 训练中的计算通信重叠。
🔗 GitHub 存储库
✅ EPLB - 适用于 V3/R1 的专家并行负载均衡器。
🔗 GitHub 存储库
📊 分析 V3/R1 中的计算通信重叠。
🔗 GitHub 存储库
第 5 天 - 3FS，所有 DeepSeek 数据访问的推进器
Fire-Flyer 文件系统 （3FS） - 一种并行文件系统，可利用现代 SSD 和 RDMA 网络的全部带宽。
⚡ 180 节点集群中的 6.6 TiB/s 聚合读取吞吐量
⚡ 在 25 节点集群中，GraySort 基准测试的吞吐量为 3.66 TiB/min
⚡ 每个客户端节点 40+ GiB/s 峰值吞吐量，用于 KVCache 查找
🧬 具有强一致性语义的分解架构
✅ 训练数据预处理，数据集加载，检查点保存/重新加载，嵌入向量搜索和KVCache查找以进行V3/R1中的推理
⛲ Smallpond - 3FS → https://github.com/deepseek-ai/smallpond 上的数据处理框架
第 6 天 - 还有一件事：DeepSeek-V3/R1 推理系统概述
通过以下方式优化吞吐量和延迟：
-🔧 跨节点 EP 支持的批量扩展
🔄 计算-通信重叠
⚖️ 负载均衡
V3/R1 在线服务生产数据：
⚡ 每个 H800 节点每秒 73.7k/14.8k 输入/输出令牌
🚀 成本利润率 545%
参考引用
- DeepSeek-V3 / R1 推理系统概览 - 知乎
- deepseek-ai/open-infra-index: Production-tested AI infrastructure tools for efficient AGI development and community-driven innovation
专业术语：
- 成本利润率
反映系统经济效益的指标，按行业标准折算后，DeepSeek的V3/R1推理系统达到85%，原数值为545% ，体现了该系统在成本控制与收益获取方面的出色表现。类似于做生意时，利润与成本的比例关系，比例越高说明盈利情况越好。 - 吞吐量
衡量系统数据处理能力的指标，如DeepSeek V3/R1推理系统单节点可达8,575 tokens/s，意味着该系统每秒能处理8,575个token的数据量。好比工厂每秒钟能生产的产品数量。 - 专家并行（Expert Parallelism, EP）
在MoE模型中，将专家分布到多个GPU的技术。通过这种方式，能提升吞吐量、优化内存使用并降低延迟，实现数量级成本下降。类似于把不同的专业工作分配给多个小组同时进行，提高整体工作效率。 - 混合专家模型（Mixture-of-Experts, MoE）
一种模型架构，每个输入仅激活部分专家，如DeepSeek V3每层激活8/256个专家。就像一个大型项目，不同部分由最合适的专业团队负责，而不是每个团队都处理所有任务。 - Micro - Batch
将请求拆分后的小批次数据单元，通过双批次流水线交替执行来隐藏通信延迟。类似于把一大份工作分成小份，轮流进行处理，提高效率。 - 通信 - 计算重叠优化
通过双批次流水线等方式，将通信延迟隐藏在计算过程中，降低通信延迟40%，减少GPU空闲时间至<5%。好比在做饭的同时准备餐具，充分利用时间。 - 三级负载均衡体系
包括预填充负载、解码负载和专家负载的均衡优化，通过动态分配输入token数、平均分配请求数、监控专家使用频率并动态迁移等方法，实现<2%的负载偏差，避免木桶效应。类似于合理分配工作任务给不同员工，让大家的工作量相对均衡，提高整体工作效率。 - 路由层
DeepSeek推理系统中负责智能请求分发的组件。好比一个快递分拣中心，将不同的请求准确地送到对应的处理单元。 - 缓存系统
用于存储数据的系统，DeepSeek推理系统的磁盘KV缓存命中率达56.3%，意味着有56.3%的请求可以直接从缓存中获取数据，提高了数据获取速度。类似于一个常用物品存放处，大部分时候能快速找到需要的东西。 - 弹性调度
根据不同时间段的需求，动态调整节点用途，如白天全节点推理，夜间部分节点转训练。就像一家工厂，白天全力生产产品，晚上部分设备用于设备维护或其他生产准备工作。 - 精度控制
采用FP8通信 + BF16计算的方式，在保证计算精度的同时，优化计算资源的使用。类似于根据不同需求选择不同精度的工具进行工作，既保证质量又提高效率。 - 动态扩缩容
根据系统负载动态调整所需节点数量，如DeepSeek V3/R1推理系统日间峰值278节点，夜间低谷180节点，并通过基于LSTM的负载预测模型进行智能预测。好比根据不同季节的客流量，调整商场的营业时间和工作人员数量。 - MaaS（模型即服务，Model - as - a - Service）
一种商业模式，当用户量达千万级时，边际成本骤降。类似于共享经济模式，使用的人越多，平均成本越低。 - 超节点趋势
指320卡紧耦合系统成为新标杆，体现了在大模型推理领域对硬件规模和耦合程度的新要求。好比建造大型建筑时，对建筑材料和结构紧密程度有了更高标准。 - 动态稀疏性
在模型计算过程中，动态调整计算资源分配，仅对重要数据进行计算，以优化计算效率。类似于在学习过程中，只重点学习最重要的知识点，提高学习效率。
DeepSeek V3/R1的突破不仅是技术胜利，更揭示了AI基础设施的演进方向：通过系统级创新将摩尔定律延伸至软件维度。随着EP技术的普及，大模型服务正在进入"水电化"的新纪元，而这场变革才刚刚开始。