MemVerge与美光科技利用CXL®内存提升NVIDIA GPU利用率

该联合解决方案将 GPU 利用率提高了 77%,并将 OPT-66B 批量推理的速度提高了一倍以上。

2023 年 3 月 18 日,作为大内存软件领域领导者的 MemVerge,与美光科技联手推出了一项突破性解决方案,该方案通过智能分层的 CXL 内存,提升了大型语言模型(LLMs)的性能,通过从 GPU HBM 卸载到 CXL 内存。这一创新合作正在 GTC 展会的美光展位 #1030 展出,与会者可以亲身体验分层内存对 AI 工作负载的变革性影响。

MemVerge 首席执行官兼联合创始人 Charles Fan 强调了克服 HBM 容量瓶颈的关键重要性。"以成本效益的方式扩展 LLM 性能意味着要持续为 GPU 提供数据," Fan 表示。"我们在 GTC 的演示表明,分层内存池不仅能提高性能,还能最大化提升 GPU 资源的利用率。"

由 MemVerge 和美光科技的工程师进行的演示,采用了 FlexGen 高吞吐量生成引擎和 OPT-66B 大型语言模型,运行在配备了 AMD Genoa CPU、Nvidia A10 GPU、美光DDR5-4800 DIMMs、CZ120 CXL 内存模块和 MemVerge Memory Machine™ X 智能分层软件的 Supermicro Petascale 服务器上。

演示的结果令人印象深刻。使用分层内存的 FlexGen 基准测试,完成任务的时间不到传统 NVMe 存储方法的一半。同时,GPU 利用率从 51.8% 飙升至 91.8%,这得益于 MemVerge Memory Machine X 软件在 DIMM 和 CXL 模块间透明管理数据分层的能力。

MemVerge、美光科技和 Supermicro 之间的合作标志着推进 AI 工作负载能力的重要里程碑,使企业能够实现前所未有的性能、效率和洞察力获取速度。通过利用 CXL 内存和智能分层的力量,企业可以解锁创新的新机会,并加速其走向 AI 驱动成功的旅程。

美光科技计算与网络业务部门高级副总裁兼总经理 Raj Narasimhan 表示:"通过与 MemVerge 的合作,美光能够展示 CXL 内存模块对提高 AI 应用有效 GPU 吞吐量的显著提升,美光在内存产品组合上的创新为计算提供了必要的内存容量和带宽,以扩展从云到边缘的 AI 用例。"

关于 MemVerge

MemVerge 是大内存计算软件的开创性开发者。无论是在云中还是本地部署,数据密集型工作负载都能以更快的速度、更低的成本运行,并凭借公司的获奖产品 Memory Machine™ 实现自动恢复。Memory Machine X 有望彻底改变未来 CXL®内存的使用方式,而 Memory Machine Cloud 以其持续优化云成本和性能的能力脱颖而出。了解更多关于 MemVerge 及其 Memory Machine 软件的信息,请访问 www.memverge.com

相关推荐
zskj_qcxjqr16 小时前
数字大健康崛起:艾灸机器人重构就业生态,传统与科技如何共生?
大数据·人工智能·科技·机器人
10001hours1 天前
(基于江协科技)51单片机入门:4.矩阵键盘
科技·计算机外设·51单片机
a10745836671 天前
重庆蓝金领科技培训小班教学吗
科技
eqwaak02 天前
Flask与Django:Python Web框架的哲学对决
开发语言·python·科技·django·flask
ITHAOGE152 天前
下载| Windows 11 ARM版9月官方ISO系统映像 (适合部分笔记本、苹果M系列芯片电脑、树莓派和部分安卓手机平板)
arm开发·windows·科技·microsoft·微软·电脑
毕设源码-赖学姐2 天前
【开题答辩全过程】以 Springboot恒星科技学院学科竞赛管理系统的设计与实现为例,包含答辩的问题和答案
科技
物联网软硬件开发-轨物科技2 天前
【轨物方案】轨物科技|以数智化技术赋能成套开关柜
人工智能·科技
ZStack开发者社区2 天前
国任保险携手云轴科技ZStack获评鼎新杯数字化转型应用典型案例
科技·云计算
虹科数字化与AR2 天前
安宝特科技丨【行业首发】Vuzix LX1智能眼镜:仓储物流的下一代智能助手
人工智能·科技·ar眼镜·智慧仓储·仓储物流·工业ar·vuzix
科技每日热闻2 天前
双模更超模!飞利浦双模办公娱乐显示器27E2N5900RW优雅登场!
科技·计算机外设·生活