这篇文章最初发表在 NVIDIA 技术博客上。
Project Mellon 是一个轻量级的 Python 软件包，能够利用语音人工智能的重量级力量 (NVIDIA Riva) 和大型语言模型（ LLM ） (NVIDIA NeMo 服务) 以简化沉浸式环境中的用户交互。 NVIDIA 在环境影响评估 GTC 2023开发人员可以开始测试 Project Mellon ，探索创建由自然语言语音命令控制的免提扩展现实（ XR ）体验。
正如 J · R · R ·托尔金（ J.R.R.Tolkien ）的《守护杜林之门》（ Doors of Durin ）（"说朋友的话，然后进入"）所提醒的那样，文字可以移山倒海。梅隆计划背后的基本理念是，可以以一种实用的方式利用语音人工智能和 LLM 的力量来打开大门，并在虚拟世界中做更多的事情
在 XR 中，用户界面可能复杂且难以使用，破坏了自然沉浸感，这是虚拟、混合和增强现实的本质。梅隆项目使几乎任何应用程序的开发人员，无论是在 XR 还是平板屏幕世界，都可以轻松地将自然语言理解添加到他们的软件中，作为一种新型的以人为中心的免提用户界面。
梅隆项目平台由以下部分组成：
- 梅隆项目 SDK
- 环境变量 Riva （ ASR 、 TTS 、 NMT ）
- NeMo 服务（也支持其他 LLM ）
Project Mellon 1.0 中的主要发布功能包括：
- 轻量级，易于集成 Python 库
- LLM 支持自然语言理解的准确性
- 无需特定命令训练的零样本语言模型
- 具有对话和视觉上下文的自然语言命令支持
- 支持询问有关命令和场景的问题，并提供自然语言回答
- 用于理解和执行命令的简单 Python API
- 基于 Web 的测试应用程序
- ASR 、 TTS 、 LLM 和神经机器翻译（ NMT ）可以在本地或远程托管，具有较低的延迟响应时间
在〔ZGK3〕2023加入ESI集团在虚拟现实中与人工智能合作：沉浸式数字助理了解他们对动态协作 XR 环境中的团队如何从对话 AI 的使用中受益的研究
ESI 集团解决方案和技术专家 Jan Wurster 表示："我们发现，将对话式人工智能与 NVIDIA Project Mellon 集成，可以降低协作 XR 技术的入门门槛，并使 IC.IDO Weave 中的用户体验人性化。"。"通过使用自然语音作为输入，我们的虚拟人工智能助手可以帮助团队完成复习任务、查询可用情况或发现问题，所有这些都只需用自然语言提问，而无需记住特定命令。"
开发人员今天就可以开始使用 Project Mellon 了。观看梅隆项目演示，了解如何进行设计审查、进行实时配置更改、控制机器人以及操纵相机和场景元素，所有这些都是由自然语音命令驱动的。
视频 1 。了解如何开始使用 Project Mellon 进行开发
人工智能正在改变我们与工作和工具互动的方式。通过语音人工智能和梅隆项目，开发人员可以简化用户体验并使其人性化。不再需要培训用户如何操作虚拟现实（ VR ）中的每一项功能。你可以跳到虚拟现实应用程序中，用自己的话来控制体验。