英伟达下场,首次优化DeepSeek-R1!B200性能狂飙25倍,碾压H100

当 FP4 的魔法与 Blackwell 的强大算力相遇,会碰撞出怎样的火花?

答案是:推理性能暴涨 25 倍,成本狂降 20 倍!

随着 DeepSeek-R1 本地化部署的爆火,英伟达也亲自下场,开源了首个基于 Blackwell 架构的优化方案------DeepSeek-R1-FP4。

在新模型的加持下,B200 实现了高达 21,088 token 每秒的的推理吞吐量,相比于 H100 的 844 token 每秒,提升了 25 倍。

与此同时,每 token 的成本也实现了 20 倍的降低。

通过在 Blackwell 架构上应用 TensorRT DeepSeek 优化,英伟达让具有 FP4 生产级精度的模型,在 MMLU 通用智能基准测试中达到了 FP8 模型性能的 99.8%。

DeepSeek-R1 首次基于 Blackwell GPU 优化

目前,英伟达基于 FP4 优化的 DeepSeek-R1 检查点现已在 Hugging Face 上开源。

模型地址:huggingface.co/nvidia/Deep...

后训练量化

模型将 Transformer 模块内的线性算子的权重和激活量化到了 FP4,适用于 TensorRT-LLM 推理。

这种优化将每个参数从 8 位减少到 4 位,从而让磁盘空间和 GPU 显存的需求减少了约 1.6 倍。

使用 TensorRT-LLM 部署

要使用 TensorRT-LLM LLM API 部署量化后的 FP4 权重文件,并为给定的提示生成文本响应,请参照以下示例代码:

硬件要求:需要支持 TensorRT-LLM 的英伟达 GPU(如 B200),并且需要 8 个 GPU 来实现 tensor_parallel_size=8 的张量并行。

性能优化:代码利用 FP4 量化、TensorRT 引擎和并行计算,旨在实现高效、低成本的推理,适合生产环境或高吞吐量应用。

对于此次优化的成果,网友表示惊叹。

「FP4 魔法让 AI 未来依然敏锐!」网友 Isha 评论道。

网友 algorusty 则声称,有了这次的优化后,美国供应商能够以每百万 token 0.25 美元的价格提供 R1。

「还会有利润。」

网友 Phil 则将这次的优化与 DeepSeek 本周的开源 5 连发结合了起来。

「这展示了硬件和开源模型结合的可能性。」他表示。

DeepSeek 全面开源

如今 DeepSeek 持续 5 天的「开源周」已经进行到了第 3 天。

周一,他们开源了 FlashMLA。这是 DeepSeek 专为英伟达 Hopper GPU 打造的高效 MLA 解码内核,特别针对变长序列进行了优化,目前已正式投产使用。

周二开源了 DeepEP,这是一个专为混合专家系统(MoE)和专家并行(EP)设计的通信库。

周三开源的是 DeepGEMM。这是一个支持稠密和 MoE 模型的 FP8 GEMM(通用矩阵乘法)计算库,可为 V3/R1 的训练和推理提供强大支持。

总的来说,不管是英伟达开源的 DeepSeek-R1-FP4,还是 DeepSeek 开源的三个仓库,都是通过对英伟达 GPU 和集群的优化,来推动 AI 模型的高效计算和部署。

参考资料:

x.com/NVIDIAAIDev...

相关推荐
二向箔reverse13 分钟前
机器学习入门:线性回归详解与实战
人工智能·机器学习
真就死难21 分钟前
Rerank 模型的其中两种路径:BERT 相似度与 CoT 推理
人工智能·机器学习·rag
无规则ai29 分钟前
AI三巨头:机器学习、深度学习与人工智能解析
人工智能·深度学习·机器学习
不剪发的Tony老师39 分钟前
字节跳动正式开源AI智能体开发平台Coze
人工智能·coze
love530love43 分钟前
Windows 如何更改 ModelScope 的模型下载缓存位置?
运维·人工智能·windows·python·缓存·modelscope
一百天成为python专家3 小时前
数据可视化
开发语言·人工智能·python·机器学习·信息可视化·numpy
金井PRATHAMA3 小时前
主要分布在背侧海马体(dHPC)CA1区域(dCA1)的时空联合细胞对NLP中的深层语义分析的积极影响和启示
人工智能·神经网络·自然语言处理
说私域3 小时前
技术赋能与营销创新:开源链动2+1模式AI智能名片S2B2C商城小程序的流量转化路径研究
人工智能·小程序·开源
倒悬于世6 小时前
开源的语音合成大模型-Cosyvoice使用介绍
人工智能·python·语音识别
pk_xz1234567 小时前
光电二极管探测器电流信号处理与指令输出系统
人工智能·深度学习·数学建模·数据挖掘·信号处理·超分辨率重建