Supermicro 和 NVIDIA 通过液冷开发平台实现去中心化人工智能

这篇文章最初发表在 NVIDIA 技术博客上。

人工智能是 2023 年全世界讨论的话题。它正迅速被包括媒体、娱乐和广播在内的所有行业所采用。为了在 2023 年及以后取得成功,公司和机构必须比以往任何时候都更快地接受和部署人工智能。视频分析、 ChatGPT 、推荐器、语音识别和客户服务等新人工智能程序的能力远远超过了几年前认为可能的任何东西。

然而,根据研究,由于成本原因,只有不到一半的公司或机构成功部署了人工智能应用程序。另一半正在争先恐后地确定如何准确地利用这种有点神秘的新软件,这种软件有望在世界上的每个行业提供竞争优势。

2023 年 4 月,Supermicro推出了一个新系统,以帮助加快开发人员、新用户和老用户的人工智能工作负载部署。这个液冷开发平台被称为 Supermicro SYS-751GE-TRT-NV1 ,在当今世界上没有类似的产品

硬件和软件系统配有全套NVIDIA AI 企业框架、模型和工具以及 Ubuntu 22 . 04 操作系统。这个新的革命性系统的美妙之处在于,它以比大型超级计算机便宜得多的入门级成本分散了人工智能的开发。

  • 通常情况下,研究人员必须预订使用超级计算机的时间段并排队等候。
  • 他们运行一个应用程序(例如,机器学习培训)并接收结果。
  • 当他们对软件进行更改时,他们必须通过预订另一个时间段并在队列中等待来再次运行培训。

这太耗时了。它需要很长时间才能获得所需的结果,并增加了总体拥有成本( TCO )。

有了新的人工智能开发平台,所有这些问题都得到了解决,总体拥有成本大幅下降。您可以运行 ML 测试,快速获得结果,然后无需等待即可再次运行测试。随着新系统接近实际的人工智能开发人员,延迟降低,这对许多人工智能工作负载来说至关重要。

为 AI 企业软件优化硬件

使这种 Supermicro 产品独特的技术是能够对这种溶液进行液体冷却。内部闭环散热器和冷却系统,即安静又高效节能,并且比大多数人工智能硬件便宜。它几乎不发热。

除了这项新的革命性硬件技术外, AI 开发平台还针对可下载的 NVIDIA AI Enterprise 软件程序进行了完美优化。这包括 50 多个工作流、框架、预训练模型和基础设施优化,这些都可以在VMware vSphere.

最重要的是,这个人工智能开发平台实际上是即插即用的。开箱即用,打开它,连接到网络,下载您选择的人工智能软件,然后开始运行这些人工智能应用程序!

这里的技术进步是将硬件系统与特定的 NVIDIA AI Enterprise 软件应用程序完美配对和优化,最大限度地提高软件能力,以利用人工智能的内在优势。

根据 NVIDIA AI Enterprise 软件应用程序的独特要求优化 Supermicro 硬件,消除了有关您需要多少内存、需要多少 GPU 或必须安装何种处理器的所有问题。坦率地说,这个系统只是开箱即用

以下是由此给客户带来的一些好处:

  • **成本效益:**随着价格接近工作站,您可以比以往任何时候都更经济高效地部署人工智能,而无需试图弄清楚运行应用程序需要哪些技术硬件组件。
  • **静音系统:**它比许多家用电器更安静,非常适合在数据柜、远程位置、办公桌下甚至家中使用。
  • **超级强大的系统:**该平台包括四个NVIDIA A100 GPU以及两个英特尔 CPU ,可以运行目前可用的任何人工智能应用程序。
  • **降低****具有显著节能的 TCO :**独立的液体冷却系统几乎完全冷却自己,而不需要外部交流或连接到任何建筑冷冻水系统。
  • **提高了安全性:**该平台可以在本地数据中心运行,无论是否依赖云,并且在任何一个位置都是安全的。
  • **显著节省时间:**您可以拥有一个专用的、去中心化的系统,使您能够运行 ML 测试、获取结果并在不等待的情况下重新运行。

节能安静的冷却

Supermicro 的新人工智能开发平台采用了一种新颖的液体冷却解决方案,提供了无与伦比的性能和客户体验。

液体冷却解决方案是独立的,用户看不见。该系统可以像任何其他风冷系统一样使用,并为任何类型的用户提供无问题的液体冷却体验。

经过优化的 Supermicro 冷板为两个第四代 Intel Xeon Scalable CPU ( 270 W TDP )和最多四个 NVIDIA A100 GPU ( 300 W TDP 。

N + 1 冗余泵送系统模块将液体移动通过冷板,以冷却 CPU 和 GPU 。它的冗余使泵在故障情况下能够连续运行,从而实现高系统正常运行时间。

热量通过高性能散热器和低功率风扇传递到周围的空气中。

Supermicro 设计的创新液体冷却系统可有效冷却系统,其功耗不到总功耗的 3% ,而标准风冷产品的功耗为 15% 。

最后,该系统在怠速时以极低的噪音水平(约 30 dB )运行,非常适合安静的办公环境。

有关详细信息,请参阅液冷开发平台

阅读原文

相关推荐
读书,代码与猫3 天前
【裸机装机系列】10.kali(ubuntu)-安装nvidia独立显卡步骤
ubuntu·kali·nvidia·linux安装nvidia显卡·ubuntu安装nvidia·裸机安装linux
陈 洪 伟7 天前
完整指南:CNStream流处理多路并发框架适配到NVIDIA Jetson Orin (四) 运行、调试、各种问题解决
ffmpeg·nvidia·jetson·cv-cuda
白云千载尽17 天前
nvidia-cuda-tensorrt-cudnn下载网站
sdk·nvidia
ViatorSun20 天前
「bug」nvitop ERROR: Failed to initialize curses
windows·python·ubuntu·llm·nvidia·vlm·nvitop
flypig哗啦啦1 个月前
nvidia系列教程-AGX-Orin linux源码下载编译
linux·nvidia·agx-orin
NullPointerExpection2 个月前
windows 使用 ffmpeg + cuda 进行视频压缩测试
c++·windows·ffmpeg·nvidia·cuda·h264·英伟达显卡
小李飞刀李寻欢2 个月前
NVIDIA-SMI couldn‘t find libnvidia-ml.so library in your system
linux·运维·nvidia·cuda·模型·驱动·driver
扫地的小何尚2 个月前
NVIDIA 全面转向开源 GPU 内核模块
人工智能·python·自然语言处理·开源·llm·gpu·nvidia
知本知至2 个月前
ubuntu2204配置anaconda&cuda&4090nvidia驱动
conda·nvidia·anaconda·cudn·4090
ku_code_ku2 个月前
Ubuntu22.04安装NIVIDIA显卡驱动总结
linux·nvidia·驱动程序