NVIDIA H200 服务器
核心定位：Hopper 架构升级，算力与 H100 基本一致，显存大幅升级 141GB HBM3e ，主打大模型推理、超长上下文、中小参数训练，SXM5 形态为主，兼容原有 HGX H100 机箱基础设施。
H200‑SXM5 GPU 核心参数NVIDIA
表格
| 项目 | H200 SXM5 | H100 SXM5 |
|---|---|---|
| 架构 | Hopper GH100 | Hopper GH100 |
| 显存 | 141GB HBM3e | 80GB HBM3 |
| 显存带宽 | 4.8TB/s | 3.35TB/s |
| FP8 算力 | 3958 TFLOPS | 3348 TFLOPS |
| BF16/FP16 | 1979 TFLOPS | 1670 TFLOPS |
| TDP | 700W | 700W |
| NVLink4 | 双向 900GB/s | 双向 900GB/s |
| MIG | 最多 7 切分，每片 18GB | 7 切分 |
关键差异：计算核心不变，显存容量 + 76%，带宽 + 43%；单卡可完整放下 Llama2‑70B FP16 权重，70B 推理吞吐量约为 H100 的 1.9 倍，GPT‑3 (175B) 推理 1.6 倍NVIDIA。
主流整机形态
1. DGX H200（英伟达原厂整机）NVIDIA
- 配置：8×H200 SXM5，HGX H200 主板 + 4 颗 NVSwitch，全 NVLink 互联
- CPU：双 Intel Xeon 铂金 8480C（56 核 ×2）
- 系统内存：2TB DDR5
- 网络：8×400G ConnectX‑7 IB/Ethernet
- 存储：2×1.92TB M.2 + 8×3.84TB U.2 NVMe
- 整机功耗：约 10.2kW；尺寸 7U 机架，支持风冷 / 液冷
- 聚合 GPU 显存：1128GB，单节点可跑千亿级大模型推理、MoE 模型训练
2. 第三方 HGX H200 整机（超微、技嘉、广达 QCT、联想）
- 超微 AS‑8125GS‑TNHR：8U，8 卡 HGX H200，双 AMD EPYC9004，风冷 / 液冷可选
- 广达 QuantaGrid D74H/D74F：7U，8 卡 HGX H200，支持 BlueField‑3 DPU，大量云厂商在用
- 技嘉 XL43：MGX 平台，支持 4 卡 / 8 卡 H200 NVL 版本
- 联想 SR675 V3：3U，支持 4 卡 HGX H200 混合液冷散热Lenovo Pre...
注意：H200 有 SXM5（700W，NVSwitch 全互联）、NVL（600W，卡间 NVLink，无 NVSwitch），没有标准 PCIe 4.0/5.0 双宽卡版本。
典型工作负载
- LLM 高并发推理：7B‑70B 大模型、超长上下文（128K+）RAG，显存不再频繁 swap，吞吐显著高于 H100
- 中小规模预训练、微调：7B‑130B 模型，单节点 8 卡 1.1TB 聚合显存，减少多机通信开销
- MoE 混合专家模型、多模态大模型、科学计算 HPC
- 不适合：纯算力密集、显存压力很小任务（此时 H100 性价比更高）
H200 vs H100 选型要点
- ✅选 H200：70B 及以上模型推理、超长上下文、需要单卡容纳大权重、RAG 高并发；优先吃显存
- ✅选 H100：中小型模型训练、显存压力不大，追求硬件采购成本优势
部署 & 采购关键点
- H200 SXM 700W 功耗高，整机单节点功耗 10kW 级别，机房供电、散热要提前评估，很多场景需要液冷。
- HGX H200 机箱与 HGX‑H100 机箱物理兼容，原有 H100 机柜可以升级 H200，但电源、散热、固件需要同步升级。
- 软件：CUDA ≥12.3，驱动版本要匹配；完全兼容 H100 软件栈，代码几乎不用改动。
- 管制：H200 属于美国出口管制 GPU，国内正规渠道获取难度大，注意供应链风险。
和 GB200 简单区分
- H200：Hopper 架构，纯 GPU，SXM5，700W，141GB HBM3e，主打推理 + 轻量训练
- GB200：Blackwell 全新架构，Grace CPU + 双 GPU 超级芯片，原生 FP4，算力翻倍，定位下一代超大规模训练，功耗更高
如果你需要，我可以输出一份 H200/H100/GB200/B200 对比简表，或者 8 卡 H200 服务器配置模板
