这篇文章最初发表在 NVIDIA 技术博客上。
GPU -- accelerated computing 的业务应用程序将在未来几年大幅扩展。增长最快的趋势之一是使用生成人工智能来创建类似人类的文本和所有类型的图像。
推动市场对生成人工智能兴趣激增的是 transformer models 等技术，这些技术将人工智能带入日常应用，从对话文本到蛋白质结构生成。可视化和 3D 计算也迅速引起人们的兴趣，特别是在工业模拟和协作领域。
随着 Apache Spark 等核心应用程序的加速， GPU 有望成为数据分析、商业智能和机器学习效率和成本节约的重要驱动力。最后，在智能空间和工业自动化扩张的推动下，边缘的人工智能推理部署是企业增长最快的领域之一。
旨在解决这些日益复杂的计算需求的新一代计算技术正在出现。这包括 NVIDIA 的新 GPU 体系结构，以及 AMD 、 Intel 和 NVIDIA 新 CPU 。
全球系统制造商已经创建了新的系统，将这些系统整合到强大的计算平台中，旨在解决各种加速的计算工作负载。这些系统 NVIDIA-Certified 可确保企业解决方案的最佳性能、可靠性和规模，目前可供购买。访问 Qualified System Catalog 了解更多信息。本文介绍了其中一些新技术，并讨论了企业利用这些技术的最佳方式。
加速生成人工智能和大型语言模型
针对训练大型语言模型和推理进行了优化，与上一代 NVIDIA A100 Tensor Core GPUs 相比， NVIDIA HGX H100 服务器的人工智能训练速度提高了 4 倍，人工智能推理速度提高了 30 倍。*最新的服务器，包括新一代 CPU ，在人工智能和 HPC 方面具有最高的性能，如下所述。
- 4 路 H100 GPU ，带 268 个 TFLOP FP64
- 8 路 H100 GPU ，带 31664 个 TFLOP FP8
- 3.6 在网络计算中使用 NVIDIA SHARP 的 TFLOP FP16
- 第四代 NVLink ，速度快 3 倍，全部减少通信
- PCIe Gen5 端到端，用于从 CPU 到 GPU 到网络的更高数据传输速率
- 每个 GPU 3.35 TB / s 内存带宽
*配置： HGX A100 集群： HDR IB 网络。 HGX H100 集群： NDR IB 网络， GPT-3 16 B 512 （批次 256 ）， GPT--3 16 K （批次 512 ）。所有性能数据均来自 NVIDIA H100 GPU 体系结构白皮书。
图 1 。在不同配置下， NVIDIA HGX H100 在实时推理和训练吞吐量方面显著优于 NVIDIA HGX A100
在 NVIDIA GTC 2023 主题演讲中， NVIDIA 宣布推出 NVIDIA H100 NVL ，这是一款用于 NVLink 的 H100 PCIe 产品，具有 94 GB HBM3 内存。它非常适合大型语言型号，为 GPT-3 提供了 NVIDIA HGX A100 的 12 倍性能。
NVIDIA H100 PCIe GPU 配置包括 NVIDIA AI Enterprise 软件套件订阅，以简化人工智能生产工作负载的开发和部署。它仅需 350 瓦的热设计功率（ TDP ）即可提供 NVIDIA H100 GPU 的所有功能。此配置可以选择使用 NVLink 桥接器，以 600 GB / s 的带宽连接最多两个 GPU ，几乎是 PCIe Gen5 的 5 倍。
NVIDIA H100 PCIe GPU 非常适合安装在标准机架中的主流加速服务器，为一次从一个扩展到四个 GPU s 的应用程序（包括 AI 推理和 HPC 应用程序）提供出色的性能。
NVIDIA 合作伙伴目前正在运送带有 H100 PCIe 的 NVIDIA 认证服务器。访问 Qualified System Catalog 了解更多信息。同时拥有 NVIDIA H100 PCIe 和 NVIDIA HGX H100 的其他合作伙伴的系统预计将于今年晚些时候获得 NVIDIA 认证。总之，这些新平台使企业能够以更好的性能和更大的规模运行最新的人工智能和 HPC 应用程序。
AI 视频和推理的节能性能
NVIDIA Ada Lovelace L4 Tensor Core GPU 为企业、云中和边缘的视频、人工智能、虚拟工作站和图形应用程序提供通用加速和能效。凭借 NVIDIA 人工智能平台和全栈方法， L4 GPU 针对广泛的人工智能应用程序进行了大规模视频和推理优化，以提供最佳的个性化体验。要了解更多信息，请参阅 Supercharging AI Video and AI Inference Performance with NVIDIA L4 GPUs 。
作为主流最高效的 NVIDIA 加速器，配备 L4 GPU 的服务器能够实现比 CPU 解决方案高出 120 倍的人工智能视频性能，同时提供 2.7 倍的生成性人工智能性能。与上一代相比，它们提供的图形性能提高了 4 倍以上。 NVIDIA L4 GPU 功能齐全，具有节能、单插槽、低外形，非常适合边缘、云和企业部署。
图 2 :与 NVIDIA T4 Tensor Core GPU 相比， NVIDIA L4 GPU 提升了视频和 AI 性能
NVIDIA L4 GPU 边缘用例得益于其硬件解码器和编码器的视频加速，以及 Tensor 内核的 AI 加速。这些在智能城市的边缘视频分析应用、工厂质量保证和智能空间的零售营销中都很有价值。 L4 GPU 专为满足 HPC 边缘传感器处理应用中的人工智能需求而设计。它的图形和视频性能为边缘仪器的科学应用提供了强大的可视化功能。
NVIDIA L4 GPU 在 NVIDIA 认证系统中可从 NVIDIA 合作伙伴处获得，这些合作伙伴包括 Advantech 、 ASUS 、 Atos 、 Cisco 、 Dell Technologies 、 Fujitsu 、 GIGABYTE 、 Hewlett-Packard Enterprise 、 Lenovo 、 QCT 和 Supermicro ，有 100 多种独特的服务器型号。
下一代 CPU s
CPU 技术的进步补充了新的 NVIDIA GPU 。最新一代 CPU 包括第四代 Intel Xeon 可扩展处理器，也称为 Sapphire RAPIDS ，以及第四代 AMD EPYC 处理器，也称称为 Genoa 。这些最新的架构具有使企业能够以更好的性能和更大的规模运行最新的人工智能应用程序的能力。这包括通过系统总线的高数据速度传输和来自主存储器的更高数据带宽。
NVIDIA Grace Hopper Superchip 基于 Arm 架构，具有出色的性能和能源效率。 Grace Hopper 超级芯片专为大规模人工智能和高性能计算而建，具有 NVLink C2C 功能，可为加速人工智能提供 CPU 加 GPU 的相干内存模型。
NVIDIA 认证的加速计算系统
随着每一代新技术都带来了更多的复杂性，对预先验证的解决方案以简化收购的需求比以往任何时候都更大。 NVIDIA 认证系统计划是专门为满足这一需求而创建的。
NVIDIA 认证系统将 NVIDIA GPU 和 NVIDIA 高速、安全的网络连接到来自领先的 NVIDIA 合作伙伴的系统，其配置经过验证，可用于各种工作负载的最佳性能、可靠性和规模。
这些测试基于真实世界的数据，代表了最新的 GPU 加速应用程序，包括 PyTorch 和 TensorFlow 的深度学习训练、 HPC 、 Apache Spark 的数据分析以及 NVIDIA Omniverse 的 3D 计算。
该认证完全建立在一个基于容器的测试套件上，使用 Kubernetes 进行编排，确保任何经过认证的系统都可以无缝集成到现代云原生管理框架中。
了解资格认证和 NVIDIA 认证之间的区别很重要。 一个合格的系统经过了热、机械、电源和信号完整性测试，以确保特定的 NVIDIA GPU 在该服务器型号中完全可用。 被验证过的系统已经通过了一系列测试，以验证其在各种工作负载类别以及网络、安全和管理功能方面的性能。这些功能对于任何企业计算解决方案都至关重要。
如果您想确保系统得到支持 and 的优化设计和配置，请选择经过认证的系统。
面向企业的下一代计算平台
全球制造商采用新一代 GPU 和 CPU 技术的 NVIDIA 认证系统现已上市。访问 Qualified Systems Catalog ，查看您首选的供应商提供的型号。