这篇文章最初发表在 NVIDIA 技术博客上。
实时远程通信已成为新常态，但许多上班族的视频和音频质量仍然很差，这影响了协作和人际交往。 NVIDIA Maxine 是专门为解决这些挑战而开发的，它使用了最先进的人工智能模型，极大地提高了视频会议通话的清晰度。这些功能在最近的 NVIDIA GTC 活动中得到了很大程度的展示。
现在， NVIDIA Maxine 已经扩展到提供可以部署在私有或公共云中的微服务，使开发人员能够利用远程服务器的 GPU 能力。这篇文章涵盖了最近的功能更新，以及微服务和 NVIDIA Maxine 瘦客户端软件的详细信息，这些软件可以有效地利用任何基于 Windows 的 PC 上的这些服务。
NVIDIA Maxine 技术套件
NVIDIA Maxine 是一套经过预训练的人工智能模型，旨在改善视频会议体验。开发人员现在可以体验、开发和部署 NVIDIA Maxine 型号。
- 体验：安装并下载免费的 NVIDIA Broadcast app ，在带有 NVIDIA RTX GPU 的 PC 上测试最新的 NVIDIA Maxine 功能。
- 开发：使用 NVIDIA Maxine SDKs 将您选择的人工智能功能集成到您的软件中。
- 部署：利用云部署中的 NVIDIA Maxine microservices 将人工智能推理卸载到 GPU 供电的节点。将人工智能推理添加到您现有的服务器架构中，或将其部署到您的专用视频会议设备中。
NVIDIA Maxine SDK
NVIDIA Maxine 包括三个不同的 SDK ，专注于高质量视频会议体验的关键方面：
- Audio Effects SDK 通过 AI 增强音频
- 背景噪声消除、声学回声消除、房间回声消除、音频超分辨率和扬声器聚焦
- Video Effects SDK 致力于拥抱视频质量
- 视频超分辨率和放大、伪影减少、视频降噪和虚拟背景
- Augmented Reality SDK 通过互动增强您的通话
- 人脸网格、人脸跟踪和人脸地标跟踪、身体姿势估计、人脸表情估计和眼神交流
Maxine SDK 现在可以在 NGC 上下载。音频扬声器聚焦和眼神交流目前仅在早期访问时可用。 NVIDIA 目前正在与合作伙伴合作，在向更广泛的受众提供这些功能之前对其进行改进。注册 NVIDIA Maxine SDK Early Access Program 并联系您的 NVIDIA 联系人以加快访问速度。
NVIDIA Maxine 云原生微服务
NVIDIA 正在加快努力，提供云原生微服务，以实现云中的分解计算，从而"扩展"到单个 GPU 之外，并改进资源管理。 NVIDIA Maxine 微服务可以与您现有的软件集成，并部署在云中带有 GPU 的 Kubernetes 集群中。这也简化了云基础设施的部署，并为公司提供了在私有或公共云基础设施中利用 Maxine 的能力。
提供了三种类型的微服务：
- Audio Effects microservice ：包括背景噪声消除、房间回声消除、声学回声消除和音频超分辨率（自 2022 年年中起提供）
- Video Effects microservice ：包括虚拟背景和眼神交流（自 2023 年初开始提供）
- Live Portrait microservice: 用于通过网络摄像头馈送输入设置图片动画（最近可用）
"我们正在使用 NVIDIA Maxine 消除音频背景噪音，并使用 NVIDIA Riva 语音对语音微服务，使用 NVIDIA Maxine 瘦客户端和 Microsoft Teams 支持我们在亚利桑那州的新工厂和台湾台积电总部之间的视频会议体验。台积电亚利桑那公司表示：" NVIDIA 云就绪微服务无疑正在构建自动化扩展人工智能服务的未来，以确保企业实现最佳远程协作。"。
所有 NVIDIA 微服务都符合 UCF 标准，使您能够轻松地将其中几个连接并链接在一起，以提供多功能管道。 NVIDIA 提供的其他微服务也可以链接并添加到组合中，如 NVIDIA Riva 语音对语音微服务。 UCF 提供了专门的工具来处理自定义集成，包括组件之间的依赖关系和连接。
目前，所有 NVIDIA Maxine 微服务仅限于早期访问，以收集与少数合作伙伴的反馈。如果您有兴趣测试这些微服务，请注册 NVIDIA Maxine Microservices Early Access Program 并联系您的 NVIDIA 联系人以加快访问速度。
NVIDIA Maxine 云参考应用程序和轻量客户端
Maxine 云参考应用程序是一种用于流媒体客户端的实时媒体处理服务，结合了多个 NVIDIA 微服务。它可以托管在私有或公共云中，并用作开发自定义软件的参考。 Maxine 云参考应用程序的 Helm 图表可以使用 UCF 工具生成。它还配备了用于身份验证、日志记录和度量的 NVIDIA 组件，如果需要，可以用最先进的开源解决方案取代。
图 1 。用于流媒体客户端的 NVIDIA Maxine 云参考应用程序
使用 活动会话数 或 GPU utilization 等自定义指标， Maxine 云参考应用程序可以通过以下方式无缝扩展：
- Kubernetes Horizontal Pod Autoscaling 自动更新工作负载资源，以满足 Kubernetes 集群的需求。
- Amazon EKS Autoscaling ，在 Amazon 云环境中自动配置虚拟机（ VM ）。当 pod 由于资源不足而无法启动时，会添加额外的 VM ，而当节点未充分利用时，会删除这些 VM 。
瘦客户端应用程序提供了对云中推理的轻松访问。该精简客户端软件可截获来自和发送到物理设备（麦克风、扬声器和网络摄像头）的信号，由 Maxine 云参考应用程序远程处理。
物理端点通过瘦客户端（使用虚拟音频和视频驱动程序）映射到虚拟设备，并可用于任何选择的视频会议应用程序。 Maxine 云参考应用程序和瘦客户端均可通过 Maxine 微服务早期访问计划应要求提供。
图 2: NVIDIA Maxine 瘦客户端部署在本地用户系统上
总结
除了在 NVIDIA Maxine SDK 中提供的眼神接触等新功能外， Maxine 微服务成为大规模开发云应用程序的新标准。企业也可以在私有云上使用相同的技术。注册 NVIDIA Maxine Microservices Early Access Program 并联系您的 NVIDIA 联系人以加快访问速度。
要了解更多关于 NVIDIA Maxine 的信息，请加入我们的 NVIDIA GTC 2023 课程：