DeepSeek-V4-Pro 部署实战指南:H100/H200/B200/B300/GB200/GB300 全硬件配置详解

来源: recipes.vllm.ai 官方配置

DeepSeek-V4-Pro 是 DeepSeek V4 预览系列的旗舰模型,拥有 1.6T 总参数 / 49B 激活参数 的 MoE 架构,checkpoint 高达 960GB。本文基于 vLLM 官方 Recipes 配置,详细介绍六种主流 GPU 平台的部署方案。


一、模型概览

指标 参数
总参数量 1.6 Trillion (1600B)
激活参数量 49 Billion
上下文长度 最高 1,048,576 tokens (1M)
精度格式 FP4 + FP8 混合精度
Checkpoint ~960 GB
vLLM 版本 ≥ 0.20.1

二、Docker 镜像选择

镜像 CUDA 版本 适用平台
vllm/vllm-openai:deepseekv4-cu129 CUDA 12.9 H100、H200、B200
vllm/vllm-openai:deepseekv4-cu130 CUDA 13 GB200、B300、GB300

三、H200 部署(单节点 TP8+EP)

硬件 : 1 台 × 8× H200 (141GB × 8 = 1128GB)

bash 复制代码
docker run --gpus all \
  --privileged --ipc=host -p 8000:8000 \
  -v ~/.cache/huggingface:/root/.cache/huggingface \
  -e VLLM_ENGINE_READY_TIMEOUT_S=3600 \
  vllm/vllm-openai:deepseekv4-cu129 deepseek-ai/DeepSeek-V4-Pro \
  --trust-remote-code \
  --kv-cache-dtype fp8 \
  --block-size 256 \
  --tensor-parallel-size 8 \
  --enable-expert-parallel \
  --max-model-len 800000 \
  --gpu-memory-utilization 0.95 \
  --compilation-config '{"mode": 0, "cudagraph_mode": "FULL_DECODE_ONLY"}'

四、B200 部署(单节点 TP8+EP)

硬件 : 1 台 × 8× B200 (180GB × 8 = 1440GB)

bash 复制代码
docker run --gpus all \
  --privileged --ipc=host -p 8000:8000 \
  -v ~/.cache/huggingface:/root/.cache/huggingface \
  -e VLLM_ENGINE_READY_TIMEOUT_S=3600 \
  vllm/vllm-openai:deepseekv4-cu130 deepseek-ai/DeepSeek-V4-Pro \
  --trust-remote-code \
  --kv-cache-dtype fp8 \
  --block-size 256 \
  --tensor-parallel-size 8 \
  --enable-expert-parallel \
  --compilation-config '{"mode": 0, "cudagraph_mode": "FULL_DECODE_ONLY"}' \
  --attention_config.use_fp4_indexer_cache=True

五、GB200 NVL4 部署(多节点 DEP)

硬件 : 2 trays × 4× GB200 = 8 GPU
注意 : 单 tray 768GB < 960GB,必须 2 trays

部署前准备

bash 复制代码
export HEAD_IP="192.168.1.100"  # 替换为实际 Tray 0 的 IP

Tray 0 (Head)

bash 复制代码
docker run --gpus all \
  --privileged --ipc=host -p 8000:8000 \
  -v ~/.cache/huggingface:/root/.cache/huggingface \
  -e VLLM_ENGINE_READY_TIMEOUT_S=3600 \
  vllm/vllm-openai:deepseekv4-cu130 deepseek-ai/DeepSeek-V4-Pro \
  --trust-remote-code \
  --kv-cache-dtype fp8 \
  --block-size 256 \
  --enable-expert-parallel \
  --data-parallel-hybrid-lb \
  --data-parallel-size 8 \
  --data-parallel-size-local 4 \
  --data-parallel-address '$HEAD_IP' \
  --compilation-config '{"cudagraph_mode":"FULL_AND_PIECEWISE", "custom_ops":["all"]}' \
  --attention_config.use_fp4_indexer_cache=True

Tray 1 (Worker)

bash 复制代码
docker run --gpus all \
  --privileged --ipc=host -p 8000:8000 \
  -v ~/.cache/huggingface:/root/.cache/huggingface \
  -e VLLM_ENGINE_READY_TIMEOUT_S=3600 \
  vllm/vllm-openai:deepseekv4-cu130 deepseek-ai/DeepSeek-V4-Pro \
  --trust-remote-code \
  --kv-cache-dtype fp8 \
  --block-size 256 \
  --enable-expert-parallel \
  --data-parallel-hybrid-lb \
  --data-parallel-size 8 \
  --data-parallel-size-local 4 \
  --data-parallel-address '$HEAD_IP' \
  --data-parallel-start-rank 4 \
  --compilation-config '{"cudagraph_mode":"FULL_AND_PIECEWISE", "custom_ops":["all"]}' \
  --attention_config.use_fp4_indexer_cache=True

六、B300 部署(单节点 TP8+EP)

硬件 : 1 台 × 8× B300 (268GB × 8 = 2144GB )
注意 : 单节点显存最充裕,无需多节点

bash 复制代码
docker run --gpus all \
  --privileged --ipc=host -p 8000:8000 \
  -v ~/.cache/huggingface:/root/.cache/huggingface \
  -e VLLM_ENGINE_READY_TIMEOUT_S=3600 \
  vllm/vllm-openai:deepseekv4-cu130 deepseek-ai/DeepSeek-V4-Pro \
  --trust-remote-code \
  --kv-cache-dtype fp8 \
  --block-size 256 \
  --tensor-parallel-size 8 \
  --enable-expert-parallel \
  --compilation-config '{"mode": 0, "cudagraph_mode": "FULL_DECODE_ONLY"}' \
  --attention_config.use_fp4_indexer_cache=True

七、GB300 NVL4 部署(多节点 DEP)

硬件 : 2 trays × 4× GB300 = 8 GPU

Tray 0 (Head)

bash 复制代码
docker run --gpus all \
  --privileged --ipc=host -p 8000:8000 \
  -v ~/.cache/huggingface:/root/.cache/huggingface \
  -e VLLM_ENGINE_READY_TIMEOUT_S=3600 \
  vllm/vllm-openai:deepseekv4-cu130 deepseek-ai/DeepSeek-V4-Pro \
  --trust-remote-code \
  --kv-cache-dtype fp8 \
  --block-size 256 \
  --enable-expert-parallel \
  --data-parallel-hybrid-lb \
  --data-parallel-size 8 \
  --data-parallel-size-local 4 \
  --data-parallel-address '$HEAD_IP' \
  --compilation-config '{"cudagraph_mode":"FULL_AND_PIECEWISE", "custom_ops":["all"]}' \
  --attention_config.use_fp4_indexer_cache=True

Tray 1 (Worker)

bash 复制代码
docker run --gpus all \
  --privileged --ipc=host -p 8000:8000 \
  -v ~/.cache/huggingface:/root/.cache/huggingface \
  -e VLLM_ENGINE_READY_TIMEOUT_S=3600 \
  vllm/vllm-openai:deepseekv4-cu130 deepseek-ai/DeepSeek-V4-Pro \
  --trust-remote-code \
  --kv-cache-dtype fp8 \
  --block-size 256 \
  --enable-expert-parallel \
  --data-parallel-hybrid-lb \
  --data-parallel-size 8 \
  --data-parallel-size-local 4 \
  --data-parallel-address '$HEAD_IP' \
  --data-parallel-start-rank 4 \
  --compilation-config '{"cudagraph_mode":"FULL_AND_PIECEWISE", "custom_ops":["all"]}' \
  --attention_config.use_fp4_indexer_cache=True

八、H100 部署(多节点 DEP)

硬件 : 2 台 × 8× H100 = 16 GPU
注意 : 单节点 640GB < 960GB,必须多节点

部署前准备(两台机器都执行)

bash 复制代码
# 1. 设置 Head 节点 IP(Node 0 的 IP 地址)
export HEAD_IP="192.168.1.100"  # 替换为实际 Node 0 的 IP

# 2. 拉取 Docker 镜像
docker pull vllm/vllm-openai:deepseekv4-cu129

# 3. 准备模型目录
mkdir -p ~/.cache/huggingface

# 4. NCCL 网络环境变量
export NCCL_DEBUG=INFO
export NCCL_IB_DISABLE=0
export NCCL_SOCKET_IFNAME=eth0  # 替换为实际 RDMA 网卡名

Node 0(Master / Head 节点)

bash 复制代码
docker run --gpus all \
  --privileged --ipc=host -p 8000:8000 \
  -v ~/.cache/huggingface:/root/.cache/huggingface \
  -e VLLM_ENGINE_READY_TIMEOUT_S=3600 \
  vllm/vllm-openai:deepseekv4-cu129 deepseek-ai/DeepSeek-V4-Pro \
  --trust-remote-code \
  --kv-cache-dtype fp8 \
  --block-size 256 \
  --enable-expert-parallel \
  --data-parallel-hybrid-lb \
  --data-parallel-size 16 \
  --data-parallel-size-local 8 \
  --data-parallel-address '$HEAD_IP' \
  --max-model-len 800000 \
  --gpu-memory-utilization 0.95 \
  --max-num-seqs 512 \
  --max-num-batched-tokens 512 \
  --no-enable-flashinfer-autotune \
  --compilation-config '{"mode": 0, "cudagraph_mode": "FULL_DECODE_ONLY"}'

Node 1(Worker 节点)

bash 复制代码
docker run --gpus all \
  --privileged --ipc=host \
  -v ~/.cache/huggingface:/root/.cache/huggingface \
  -e VLLM_ENGINE_READY_TIMEOUT_S=3600 \
  vllm/vllm-openai:deepseekv4-cu129 deepseek-ai/DeepSeek-V4-Pro \
  --trust-remote-code \
  --kv-cache-dtype fp8 \
  --block-size 256 \
  --enable-expert-parallel \
  --data-parallel-hybrid-lb \
  --data-parallel-size 16 \
  --data-parallel-size-local 8 \
  --data-parallel-address '$HEAD_IP' \
  --data-parallel-start-rank 8 \
  --max-model-len 800000 \
  --gpu-memory-utilization 0.95 \
  --max-num-seqs 512 \
  --max-num-batched-tokens 512 \
  --no-enable-flashinfer-autotune \
  --compilation-config '{"mode": 0, "cudagraph_mode": "FULL_DECODE_ONLY"}'

H100 启动顺序

bash 复制代码
# Step 1: 先在 Node 0 (Master) 上启动
ssh node0
cd /path/to/scripts
./start_master.sh

# Step 2: 等待 Node 0 启动完成(约需 5-10 分钟加载 960GB 模型)

# Step 3: 在 Node 1 (Worker) 上启动
ssh node1
cd /path/to/scripts
./start_worker.sh

# Step 4: 验证服务
ssh node0
curl http://localhost:8000/v1/models

九、各平台配置对比

平台 台数 GPU/台 总 GPU 总显存 策略 Docker
H200 1 8 8 1128 GB TP8+EP cu129
B200 1 8 8 1440 GB TP8+EP cu130
GB200 2 4 8 1536 GB Multi-Node DEP cu130
B300 1 8 8 2144 GB TP8+EP cu130
GB300 2 4 8 2304 GB Multi-Node DEP cu130
H100 2 8 16 1280 GB Multi-Node DEP cu129

关键参数说明

参数 H200/B200/B300 GB200/GB300 H100
--tensor-parallel-size 8 - -
--data-parallel-size - 8 16
--data-parallel-size-local - 4 8
--data-parallel-start-rank - 4 8
--max-model-len 800K (H200) / 不限 不限 800K
--no-enable-flashinfer-autotune ✅ (H200) - ✅

十、参考文献

相关推荐
高洁011 天前
世界模型的因果内核:从预测表象到理解机制
人工智能·python·深度学习·transformer·迁移学习
缘友一世1 天前
模型部署推理框架[3]:引擎启动参数
vllm
缘友一世1 天前
模型部署推理框架[2]:总体架构和Docker部署实战
vllm
Soari2 天前
大语言模型LLM综述解读:从预训练到评测,建立理解 LLM 的技术地图
transformer·大语言模型·tsn·rlhf·指令微调
β添砖java3 天前
Transformer大白话学习笔记
笔记·学习·transformer
Solange__6 天前
Blender 3D模型优化:普通复制、共享网格、实例、合并怎么选?
人工智能·3d·ai·自然语言处理·编辑器·blender·材质
Eloudy6 天前
从 DeepSeek-V1 到 DeepSeek-V2:一次从“堆稠密参数”到“稀疏计算+压缩缓存”的架构转向
gpt·llm·transformer
2601_967980116 天前
使用gensim处理文本(1)语料库与词向量空间
python·自然语言处理·gensim·词向量·文本分析
Martina_03217 天前
AI生成的3D白模单帧没问题,镜头一移动就被挡?用6步检查遮挡与构图
图像处理·人工智能·数学建模·3d·ai·自然语言处理·游戏策划
2301_790355977 天前
【技术拆解】短视频配音自动化流程:从文案预处理到 SRT 字幕的 9 个环节
自然语言处理·音视频