这篇文章最初发表在 NVIDIA 技术博客上。
NVIDIA 今日公布了 NVIDIA Avatar Cloud Engine (ACE) 一系列技术，增强了 AI 虚拟形象和数字人的真实感和可访问性。这些新的动画和语音功能实现了更自然的对话和情感表达。
开发者现在可以使用新的云 API 在应用中轻松实现和扩展智能虚拟形象，包括 自动语音识别 (ASR)、文本转语音 (TTS)、神经机器翻译 (NMT) 和 Audio2Face (A2F)。
借助这些高级功能，抢先体验计划的创作者可以利用 NVIDIA 技术快速构建新一代虚拟形象体验。现在，使用 Unreal Engine 5 等一些热门渲染工具，可以更轻松地在任何地方大规模构建和部署数字人。
AI 驱动的情感动画
使用最新的 ACE AI 动画功能和微服务(包括新添加的 A2F 情感支持)构建更具表现力的数字人。现在还提供用于身体、头部和眼球运动的 Animation Graph 微服务。
对于通过云处理渲染生产或寻求进行实时推理的开发者，现在有了易于使用的微服务。A2F 质量改进包括唇部同步，为数字人带来更多的真实感。
图 1. NVIDIA ACE 端到端开发套件
增强的 AI 语音功能
现在支持的语言包括意大利语、欧盟西班牙语、德语和普通话。ASR 技术的整体准确性也得到了提高。ASR、TTS 和 NMT 的云 API 简化了对最新语音 AI 功能的访问。
无论您是想使用自己的语音将自定义语音应用到智能 NPC，还是在视频会议通话中随机化用户的语音，新的 Voice 字体微服务都能让您自定义 TTS 输出。这项技术可将说话者的独特音调和音量转换为参考音频，同时保持相同的节奏和声音模式。
新工具和框架
ACE Agent 是一家专业的对话管理和系统集成商，它能够提供更加流畅的端到端体验，并高效地协调微服务之间的连接。开发者还可以利用与 NVIDIA Omniverse 平台的集成，通过 NVIDIA NeMo 护栏、NVIDIA SteerLM 和 LangChain 来更好地控制精确且可调节的响应。
现在，可以更轻松地在您选择的渲染器或编码环境中启动和运行这些工具。新功能包括：
- 在 Avatar 配置器中支持 Blendshape，以轻松集成 Unreal Engine 等热门渲染器。
- 面向 Python 用户的全新 A2F 应用程序。
- 这是一款参考应用程序，适用于有兴趣为客户服务构建虚拟助理的开发者。
总结
这些新推出的 NVIDIA ACE 功能提高了数字人体验的质量标准。借助简化构建和部署的增强功能，开发者现在可以获得构建新一代数字人应用所需的简化配置。
想要探索尖端数字人技术？申请抢先体验。