这篇文章最初发表在 NVIDIA 技术博客上。
Moment Factory 是一家全球性的多媒体娱乐工作室，它结合了视频、照明、建筑、声音、软件和互动方面的专业知识，为世界各地的观众创造身临其境的体验。
从现场表演、多媒体表演到互动装置，Moment Factory 以一些最令人敬畏和娱乐的体验而闻名，这些体验将人们聚集在现实世界中。其中包括令人眼花缭乱的视觉效果，如Billie Eilish 的 比以往任何时候都幸福 世界巡回演唱会，Lumina 夜间漫步在世界各地的自然遗址，以及AT&T Discovery District。
Moment Factory 拥有一支由 400 多名专业人士组成的团队，在蒙特利尔、东京、巴黎、纽约和新加坡设有办事处，已成为娱乐业的全球领导者。
图 1。Billie Eilish 聘请 Moment Factory 为她监督创意指导、舞台设计和内容创作 比以往任何时候都幸福 世界巡回演唱会
使用 Open 简化沉浸式体验开发 USD
将这些体验付诸实践需要拥有不同专业的高技能专家组成的大型团队，他们都使用独特的工具。为了在高度复杂的生产过程中实现最佳效率，Moment Factory 希望实现一个可互操作的开放数据格式和开发平台，该平台可以无缝集成从概念到操作的各个方面。
Moment Factory 选择了 Universal Scene Description，也被称为 OpenUSD 作为解决方案。Open USD 是一个可扩展的框架和生态系统，用于描述、组成、模拟和在 3D 世界中协作。NVIDIA Omniverse 是一个软件平台，使团队能够开发基于开放 USD 的 3D 工作流和应用程序。它提供了一个统一的环境，通过与 Moment Factory 工具的实时连接，实现了数字孪生的实时可视化和协作。
将 Open USD 与 Omniverse 结合使用，使 Moment Factory 能够统一来自其各种数字内容创建（DCC）工具的数据，以形成真实世界环境的 数字孪生。团队的每个成员都可以与这个数字孪生互动，并在不影响其他元素的情况下迭代项目的各个方面。
例如，场景制作者可以使用 Vectorworks，这是一款三维设计软件。同时，在同一场景中，AV（视听）和照明设计师可以使用 Moment Factory 的专有现场娱乐操作系统和虚拟投影映射软件来处理照明和投影仪，即 X-Agora。
同时，艺术家和设计师可以使用 Epic Games 虚幻引擎、 Blender 和 Adobe Photoshop 等工具在场景中渲染和创建引人注目的视觉效果，而不会影响仍在进行的项目的各个层。
Moment Factory 创新团队的解决方案架构师兼项目负责人 Arnaud Grosjean 表示：" USD 的独特之处在于，它可以分解成更小的部分，使人们能够在保持联系的同时处理项目中自己独特的部分。"。"它的灵活性和互操作性使我们能够创建强大的自定义 3D 管道。"
图 2: USD 场景由无损层组成，如场地、场景、AV 和来自不同数据源的传感器数据
数字孪生模拟真实世界的体验
为了在将沉浸式事件部署到现实世界之前模拟它们，Moment Factory 正在开发其在 NVIDIA Omniverse 中的应用。Omniverse 是一个计算平台，使团队能够开发基于开放 USD 的 3D 工作流和应用程序，它提供了一个统一的环境，可以实时可视化和协作数字孪生 与 DCC 工具的连接。
他们创建的第一个数字孪生是 Blackbox，它是一个实验和原型空间，他们可以在现实世界部署之前预览身临其境的体验片段。它是项目生命周期几乎每个阶段的关键空间，从概念和设计到集成和运营。
为了构建 Blackbox 的数字孪生，Moment Factory 使用了基于 NVIDIA Omniverse 的完全可定制的基础应用程序 -- USD Composer。
图 3。Blackbox 中的实时视频投影和照明实时反映在 Blackbox 的数字孪生中，如右侧屏幕所示
安装的虚拟副本使团队能够在项目上运行无数次迭代，以测试各种因素。他们还可以更好地向潜在客户销售沉浸式体验的概念，这些客户可以在虚拟环境中进行现场制作之前观看演出。
在构建大规模沉浸式体验的过程中，关键挑战之一是在各个利益相关者之间达成共识并管理变革。
Grosjean 解释道："每个人都对场景的结构有自己的想法，所以我们需要一种方法，在一个统一、动态的环境中，让每个参与项目的人都保持一致。"。"通过数字孪生，可以与各个核心专业知识的利益相关者一起测试和模拟潜在的想法。"
作为 CAD 绘图员、AV 设计师、互动设计师和其他人为 Blackbox 的数字孪生做出的贡献，艺术家和 2D/3D 设计师可以渲染和实验身临其境的动作体验的美丽镜头。
如果您想查看 Blackbox 的数字孪生在运行，请参加 9 月 13 日（星期三）的 Omniverse 与 Moment Factory 的直播活动。
开发 Omniverse 连接器和扩展
Moment Factory 正在不断构建和测试 Omniverse 的扩展，为他们的数字孪生带来新的功能和可能性。
他们为 X-Agora 开发了 Omniverse 连接器，这是他们专有的多显示器软件，允许您设计、规划和操作演出。该软件现在有一个 Nucleus 连接的工作实现， USD 导入/导出，以及早期的实时模式实现。
视频投影是沉浸式活动的关键元素。该团队经常会尝试将视觉内容映射和投影到建筑表面、风景元素上，有时甚至是移动物体上，将静态空间转化为动态和迷人的环境。
NDI，即网络设计接口，是由 NewTek 开发的一种流行的 IP 视频协议。它允许高效的实时视频制作和跨互连设备和系统的流传输。Moment Factory 在他们的沉浸式体验中，通常使用视频电缆将媒体系统连接到物理投影仪。而有了 NDI，他们可以在虚拟场所内复制这种连接，有效地以数字方式模拟整个体验。
为了实现 Omniverse RTX 渲染器与其创意内容之间的无缝连接，Moment Factory 为 Omniverse 开发了 NDI 扩展。该扩展不仅支持视频投影，还允许团队模拟 LED 墙、屏幕和像素场，以反映他们在数字孪生中的真实世界设置。
与开发的扩展 Omniverse Kit，还允许用户将视频源用作动态纹理。Moment Factory 的开发人员使用 kit-cv-video-example 和 kit-dynamic texture-example 来开发扩展。
任何人都可以访问和使用 Moment Factory 的 Omniverse-NDI-extension 在 GitHub 上，并将其安装在 Omniverse Launcher 上，或使用以下工具启动：
shell
$ ./link_app.bat --app create
$ ./app/omni.create.bat --/rtx/ecoMode/enabled=false --ext-folder exts --enable mf.ov.ndiOmniverse 中的扩展 可作为可重复使用的组件或工具，开发人员可以构建这些组件或工具来加速和添加 3D 工作流的新功能。它们可以用于简单任务，如随机化对象，也可以用于实现更复杂的工作流，如可视化脚本。
该团队还开发了一个用于转换MPDCI，一个描述多项目钻机的 VESA 标准，到 USD ，称为Omniverse-MPCDI-converter。他们目前正在测试的扩展MVR (My Virtual Rig)和GDTF (General Device Type Format) 将照明设备和钻机导入其数字孪生的转换器。
更引人注目的是激光雷达 UDP 模拟器的扩展，该扩展正在开发中，以实现 Omniverse 中的传感器模拟，并将合成数据连接到激光雷达兼容软件。
您现在可以在工作流程中使用 Moment Factory 的 NDI 和 MPDCI 扩展。敬请关注即将推出的新扩展。
为了构建像 Moment Factory 这样的扩展，您需要 开始使用所有的 Omniverse 开发者资源，包括文档、教程、USD 资源、GitHub 示例等。
下载标准许可证，开始使用 NVIDIA Omniverse，或学习如何 Omniverse 企业可以连接您的团队。
开发人员可以查看这些 Omniverse 资源 开始在平台上建设。
通过订阅 新闻稿 并在 领英上关注 NVIDIA Omniverse。
欲了解更多信息，请查看我们的 论坛。