面向电信行业的 NVIDIA DGX BasePOD
简化人工智能开发与部署
降低成本、缓解风险并提升客户体验
为了持续提供高效、稳定的网络连接,电信运营商每年投入数十亿美元,用于建设和运营通信网络、推动技术创新、开发新产品与服务、升级基础设施以及提升运营效率。
在这一过程中,人工智能已经成为电信企业投资规划中的关键组成部分。电信运营商日益认识到 AI 所具备的变革潜力,并希望借助 AI 重构成本体系,推出具有突破性的创新应用,从而推动业务模式发生重大变化。
在 NVIDIA 近期针对 400 多名电信行业专业人士开展的一项调查中,65% 的受访者认同,人工智能对于其所在公司的成功至关重要。
许多电信行业应用需要在本地部署 AI 系统,并在本地训练大语言模型(LLM),以满足以下需求:
- 保护敏感客户数据
- 确保符合行业监管要求
- 降低实时应用的网络时延
- 减少云计算使用成本
- 降低对云服务提供商的依赖
- 强化数据治理
- 保持对数据和基础设施的自主控制
NVIDIA 正在帮助电信企业以更加简单、快速且经济高效的方式训练大语言模型,并部署关键业务 AI 应用。
通过将 NVIDIA DGX BasePOD™ 架构经过验证的性能、可扩展性和可管理性,与 NVIDIA AI Enterprise 软件套件中针对电信行业优化的软件和工具相结合,企业能够获得一个值得信赖的全栈式平台,用于构建和部署 AI 应用。
该解决方案包含经过验证的开源容器和软件框架,并已通过认证,可在本地数据中心和云环境中安全运行,满足电信行业严苛的工作负载需求,包括:
- 大语言模型
- 对话式人工智能
- 网络路由优化
- 视频分析
主要优势
- 支持在本地训练大语言模型
- 消除基础设施设计的复杂性
- 加快系统部署速度
- 在规模化部署中提供可预测的性能
- 集成 NVIDIA AI 软件栈
- 获得 NVIDIA Enterprise Support 提供的全栈技术支持
利用 NVIDIA DGX BasePOD 和 NVIDIA AI Enterprise 加速电信行业工作负载
NVIDIA DGX BasePOD 与 NVIDIA AI Enterprise 可支持以下电信行业 AI 工具和应用:
- NVIDIA NeMo™:用于大语言模型开发和训练
- NVIDIA® Riva:用于构建支持多语言的智能客服和坐席辅助系统
- NVIDIA Merlin™:用于构建智能推荐系统
- cuOpt™:用于动态调度和路径优化
- NVIDIA Triton™ Inference Server:用于 AI 模型推理和部署
- NVIDIA Spark RAPIDS:用于加速数据科学和数据分析
NVIDIA AI Enterprise 的价值
DGX BasePOD 包含 NVIDIA AI Enterprise 软件套件。该软件套件提供开发和部署行业专用端到端 AI 工作流所需的关键组件,涵盖以下完整流程:
- 数据准备
- 模型开发
- 模型训练
- 模型推理
- 应用部署
用户可以在 DGX BasePOD 上开发和训练 AI 模型,同时保留将模型部署至不同基础设施和运行环境的灵活性。
NVIDIA AI Enterprise 软件套件中经过验证的容器、应用程序和框架包括:
- NVIDIA TAO Toolkit:可用于文档自动化和定制化 AI 模型开发
- NVIDIA Triton Inference Server:可用于简化和标准化 AI 推理流程
NVIDIA Triton Inference Server 支持团队在 DGX BasePOD 上部署、运行和扩展基于不同 AI 框架开发的模型。
DGX BasePOD 与 NVIDIA AI Enterprise 软件相结合,形成高度集成的 AI 加速软硬件解决方案,使开发人员能够快速部署、优化和加速 AI 工作负载,从而更快获得业务成果。
此外,该解决方案还包含企业级技术支持。企业既可以享受开源软件所带来的透明度,也可以获得 NVIDIA 全球企业支持团队提供的专业保障,确保 AI 项目按照计划顺利推进。
由 NVIDIA Base Command 提供支持
DGX BasePOD 内置 NVIDIA Base Command™。NVIDIA Base Command 是 DGX 平台的软件引擎,主要包括:
- 企业级任务编排
- 集群管理
- 加速计算、存储和网络基础设施的软件库
- 针对 AI 工作负载优化的操作系统
这一完整集成的解决方案可提供业界领先的计算性能和基础设施利用率。
通过提供 AI 软件、计算能力、开发工具和技术支持,NVIDIA Base Command 使不同规模的组织都能够获得企业级加速计算基础设施,使企业可以将更多精力集中于利用人工智能创造实际业务价值。
强大且经过验证的合作伙伴生态系统
面向电信行业的 NVIDIA DGX BasePOD 解决方案经过 NVIDIA 认证,并拥有由合格且经过验证的存储合作伙伴组成的生态系统。
该解决方案采用 NVIDIA Magnum IO™ 产品组合,对数据中心输入/输出进行智能优化,并支持 NVIDIA GPUDirect® Storage 等关键技术。
NVIDIA GPUDirect Storage 可以绕过传统的数据传输路径,将存储系统中的数据直接传输至 AI 基础设施中的 GPU,从而实现更高性能的输入/输出能力,并加速图像处理等数据密集型任务。
面向电信行业的 DGX BasePOD 已经与 NVIDIA 合作伙伴生态系统完成集成和测试,可帮助企业 IT 部门进一步简化本地 AI 加速基础设施的部署。
NVIDIA 全面支持
采用 NVIDIA DGX BasePOD 后,AI 开发人员和 IT 管理团队均可获得 NVIDIA 全球专家团队的支持。
支持内容包括:
- 覆盖完整解决方案的协同技术支持
- 对合作伙伴产品的统一支持协调
- 对系统升级和维护计划的自主控制
- 长期技术支持选项
- 由专业讲师提供的客户培训
- NVIDIA 技术知识库资源
通过覆盖硬件、软件、网络、存储及合作伙伴产品的全栈支持体系,NVIDIA 可帮助企业降低 AI 基础设施部署风险,并确保关键 AI 项目长期稳定运行。
