使用自然语言语音命令创建 XR 体验:Mellon 测试项目

这篇文章最初发表在 NVIDIA 技术博客上。

Project Mellon 是一个轻量级的 Python 软件包,能够利用语音人工智能的重量级力量 (NVIDIA Riva) 和大型语言模型( LLM ) (NVIDIA NeMo 服务) 以简化沉浸式环境中的用户交互。 NVIDIA 在环境影响评估 GTC 2023开发人员可以开始测试 Project Mellon ,探索创建由自然语言语音命令控制的免提扩展现实( XR )体验。

正如 J · R · R ·托尔金( J.R.R.Tolkien )的《守护杜林之门》( Doors of Durin )("说朋友的话,然后进入")所提醒的那样,文字可以移山倒海。梅隆计划背后的基本理念是,可以以一种实用的方式利用语音人工智能和 LLM 的力量来打开大门,并在虚拟世界中做更多的事情

在 XR 中,用户界面可能复杂且难以使用,破坏了自然沉浸感,这是虚拟、混合和增强现实的本质。梅隆项目使几乎任何应用程序的开发人员,无论是在 XR 还是平板屏幕世界,都可以轻松地将自然语言理解添加到他们的软件中,作为一种新型的以人为中心的免提用户界面。

梅隆项目平台由以下部分组成:

  • 梅隆项目 SDK
  • 环境变量 Riva ( ASR 、 TTS 、 NMT )
  • NeMo 服务(也支持其他 LLM )

Project Mellon 1.0 中的主要发布功能包括:

  • 轻量级,易于集成 Python 库
  • LLM 支持自然语言理解的准确性
  • 无需特定命令训练的零样本语言模型
  • 具有对话和视觉上下文的自然语言命令支持
  • 支持询问有关命令和场景的问题,并提供自然语言回答
  • 用于理解和执行命令的简单 Python API
  • 基于 Web 的测试应用程序
  • ASR 、 TTS 、 LLM 和神经机器翻译( NMT )可以在本地或远程托管,具有较低的延迟响应时间

在〔ZGK3〕2023加入ESI集团在虚拟现实中与人工智能合作:沉浸式数字助理了解他们对动态协作 XR 环境中的团队如何从对话 AI 的使用中受益的研究

ESI 集团解决方案和技术专家 Jan Wurster 表示:"我们发现,将对话式人工智能与 NVIDIA Project Mellon 集成,可以降低协作 XR 技术的入门门槛,并使 IC.IDO Weave 中的用户体验人性化。"。"通过使用自然语音作为输入,我们的虚拟人工智能助手可以帮助团队完成复习任务、查询可用情况或发现问题,所有这些都只需用自然语言提问,而无需记住特定命令。"

开发人员今天就可以开始使用 Project Mellon 了。观看梅隆项目演示,了解如何进行设计审查、进行实时配置更改、控制机器人以及操纵相机和场景元素,所有这些都是由自然语音命令驱动的。

视频 1 。了解如何开始使用 Project Mellon 进行开发

人工智能正在改变我们与工作和工具互动的方式。通过语音人工智能和梅隆项目,开发人员可以简化用户体验并使其人性化。不再需要培训用户如何操作虚拟现实( VR )中的每一项功能。你可以跳到虚拟现实应用程序中,用自己的话来控制体验。

申请给梅隆项目一次机会.

阅读原文

相关推荐
ZhengEnCi1 天前
黄仁勋想回英伟达却被拒:创始人 CEO 辞职后为什么回不来,董事会继任机制全拆解
人工智能·nvidia·团队管理
ZhengEnCi1 天前
中美AI竞赛之外其他国家在干什么:算力5%的欧洲、买卡的沙特与做场景的日韩
人工智能·gpu·nvidia
wangruofeng6 天前
黄仁勋辞去英伟达 CEO,结束 33 年掌舵生涯
aigc·ai编程·nvidia
蝌蝌10 天前
DGX Spark 首启翻车实录:一次初始化失败与被迫重装的复盘
nvidia·故障排查·复盘·ai基础设施·dgx spark
Vex2une14 天前
DLSS 5 2027 路线图前瞻:游戏阵容、硬件适配与技术迭代全预测
nvidia·神经渲染·dlss5·游戏适配·技术迭代·rtx 40系·rtx remix
小哈里16 天前
【推理】NVIDIA DLI培训:大规模部署与优化 AI 推理(推理原理,K8S,网关层,pd分离,MoE,Dynamo)
人工智能·容器·kubernetes·nvidia·推理
wei_shuo24 天前
GR00T N1 深度观察:当机器人行业开始谈论“基础模型“——88 小时数据家底、三道行业难题,与 NVIDIA 给出的第一个通用人形解法
nvidia·启元机器人·gr00t n1
Vex2une24 天前
异构双卡渲染避坑指南:AMD+NVIDIA混合架构下的DLSS 5适配与性能调优实战
nvidia·amd·vulkan·ai渲染·dlss5·异构双卡·dx12
the3clipse24 天前
DLSS5 Swapper 获取及使用教程:5分钟一键开启游戏神经渲染
nvidia·神经渲染·dlss5·dlss5 swapper·游戏画质优化·reshade·renodx
本地化文档1 个月前
cutile-rs-book-l10n
rust·gpu·nvidia·cuda·sphinx·crowdin