借助 NVIDIA AI 和路径跟踪技术实现超现实

这篇文章最初发表在 NVIDIA 技术博客上。

GDC 2023 上, NVIDIA 发布了新工具,使开发人员更容易访问实时路径跟踪,同时加速创建超逼真的游戏世界。

视频 1 。 NVIDIA 在 GDC 2023 :帧生成和路径跟踪工具现已上市

使用 AI 渲染的最新突破生成帧

DLSS 3 采用 NVIDIA Ada Lovelace 架构发布,不仅提高了视觉效果,还提高了性能和响应能力。自 2019 年推出 NVIDIA 图灵架构以来, DLSS 不断为游戏渲染中的人工智能设定新标准。

帧生成是最新的发展。

图 1 。 DLSS 3 帧生成后处理流水线

DLSS 帧生成是 DLSS 3 中使用 AI 创建全新帧的新性能倍增器。它由 NVIDIA GeForce 40 系列和光流加速器提供动力。这一突破使实时路径追踪成为视频游戏图形领域的下一个前沿。

自该公告发布以来, 28 款顶级游戏和应用程序现在都使用 DLSS 3 来提供具有难以置信性能的逼真图形,包括《瘟疫故事安魂曲》、《带有 RTX 的门户》和《赛博朋克 2077 》。在某些情况下,游戏中每秒帧数几乎增加了两倍。

DLSS Frame Generation 即将通过 Streamline 2.0 SDK 作为开发人员的插件加入 GDC 。 Streamline 是 NVIDIA 开源跨 IHV 框架,简化了 DLSS 3 等功能的集成。您无需手动集成 DLSS 帧生成 SDK ,而是确定所需插件需要哪些资源(运动向量、深度等),然后执行插件以在渲染管道中运行。

此外, Epic Games 宣布, DLSS 框架生成插件将在其下一版本中加入虚幻引擎。再加上 UE5 提供的 NVIDIA Reflex 低延迟技术,您拥有所有工具来提高游戏性能,同时为玩家提供高度响应的体验。

Epic 和 NVIDIA 共同推动了人工智能在游戏开发中的发展,使实时路径跟踪更接近现实。

Epic games 工程副总裁 Nick Penwarden 表示:" NVIDIA DLSS 3 引入了令人印象深刻的帧生成技术,虚幻引擎 5.2 插件将为开发者提供一个提高游戏质量和性能的绝佳选择。"。

简化了实时路径跟踪技术的集成

随着 NVIDIA 图灵架构中 RT 内核的引入,游戏中的实时光线追踪成为可能。从那以后, NVIDIA 一直在努力应对下一个挑战。

NVIDIA RTX Path Tracing SDK 在 GDC2023 发布,可供各地的开发人员使用。

[](developer-blogs.nvidia.com/wp-content/... RTX -ray-tracing.png) 图 2:Portal 的下一代照明通过路径跟踪直接和间接照明以及着色器执行重新排序进行重建

RTX 路径跟踪 SDK 准确地重新创建了场景中所有光源的物理特性,以再现眼睛在现实生活中看到的东西。这个新的 SDK 为您提供了灵活性和可定制性,使您能够利用经验证的 NVIDIA 技术来适应以下用例:

  • 构建一个参考路径跟踪器,以确保您在生产过程中的照明逼真,从而加快迭代过程。
  • 为支持 RT 的 GPU 构建高质量照片模式,或利用 Ada-Lovelace 架构的实时超高质量模式。

RTX 路径跟踪 SDK 是 NVIDIA 数十年研究的结晶。此 SDK 演示了使用以下工具和功能的最新版本构建路径跟踪器的最佳实践:

  • 用于超分辨率和帧生成的 DLSS 3 ,以提高性能。
  • RTX 直接照明( RTX DI ),用于对大量阴影投射和动态灯光进行有效采样。
  • NVIDIA 实时去噪器( NRD ),用于所有光源的高性能去噪。
  • 不透明度微贴图( OMM ),用于提高具有重 alpha 效果的场景中的 RT 性能。
  • 着色器执行重新排序( SER ),用于改进着色器调度,从而提高性能。

图 3 。使用 NVIDIA RTX SDK 组件构建的实时路径跟踪管道

此 SDK 包含所有必要的 NVIDIA RTX 组件、文档和示例应用程序,供您今天开始使用。

提高路径跟踪性能并提高可访问性

NVIDIA 不断寻找更多机会来提高实时路径跟踪的性能,这导致了 Opacity Micro Map ( OMM )的开发,并在 GTC 2022 上宣布。

所有开发人员都可以使用 OMM SDK 1.0 。 OMM 允许您有效地将复杂的几何图形(如茂密的植被和树叶)映射到三角形和微网格上,从而在详细场景中提供高水平的性能。

为了优化所有这些新的路径跟踪和 AI 渲染技术,现在可以更新 Nsight Systems 。此版本支持在 Vulkan 应用程序中分析 OMM ,使您能够拦截故障的 OMM 功能。即将发布的 Nsight Graphics 更新将使您能够检查和调试 OMM 的性能增益。

NVIDIA Nsight Developer Tools 提供了业界领先的性能见解和调试指导,多年来确保了最佳路径跟踪集成。 Nsight Graphics 剖析 GPU 活动,如曝光消除停滞的射线源着色器指标,以及为地面实况照明进行优化的加速结构。

最近,它被用于在即将推出的《赛博朋克 2077 光线追踪: Overdrive 》模式中改进路径追踪,解决了着色器效率低下的问题。观看演示视频了解更多信息。

视频 2 。 Nsight 开发工具:《赛博朋克 2077 》如何使用 NVIDIA 的工具实现逼真的图形

焦散

最后, NVIDIA 在虚幻引擎 5 的 NVIDIA 焦散分支中提供了一组新的光线跟踪功能,使所有虚幻引擎开发人员更容易开始他们的路径跟踪之旅。

Caustics 是一种存在于我们周围的光学现象,在它撞击玻璃等反射材料并产生弯曲的光区域之前,肉眼是看不见的。

这项技术现在可通过 UE 5.1 Caustics branch 获得,使其更容易利用金属和半透明网格以及水面周围的焦散效果。有关如何获得访问权限的更多信息,请参阅 Accessing Unreal Engine source code on GitHub

光线追踪景深是这个分支的一个突出特点。在传统的光栅化工作流程中,相机景深是精确计算半透明对象的一个挑战。使用"焦散"分支,可以实现这样的摄影机效果。

图 4 显示了具有半透明挑战的传统光栅化流水线相机景深。

图 4 。焦散光栅景深 图 5 显示了光线跟踪相机的景深带来了解决半透明问题的挑战。

图 5 。焦散射线跟踪景深 在图 4 和图 5 中,您可以看到传统焦散光栅和光线跟踪景深之间的细节差异。

接下来的步骤

有关此焦散分支中引入的其他功能的更多信息,请参阅 Unreal Engine overview 页面。

有关重新创建完全路径跟踪和人工智能驱动的虚拟世界的免费资源的更多信息,请参阅 NVIDIA Game Development resources 页面。

查看 NVIDIA GTC 2023 game development sessions

阅读原文

相关推荐
扫地的小何尚8 天前
NVIDIA RTX 系统上使用 llama.cpp 加速 LLM
人工智能·aigc·llama·gpu·nvidia·cuda·英伟达
布鲁格若门9 天前
AMD CPU下pytorch 多GPU运行卡死和死锁解决
人工智能·pytorch·python·nvidia
centurysee11 天前
【一文搞懂】GPU硬件拓扑与传输速度
gpu·nvidia
算家云17 天前
moffee模型部署教程
人工智能·python·github·markdown·nvidia·ppt·幻灯片制作
坐望云起1 个月前
Ubuntu20.04 更新Nvidia驱动 + 安装CUDA12.1 + cudnn8.9.7
linux·ubuntu·nvidia·cuda·onnx·1024程序员节
RZer1 个月前
NVIDIA 发布适用于网络安全的 NIM Blueprint
安全·web安全·nvidia
LifeBackwards1 个月前
Ubuntu安装nvidia显卡驱动
ubuntu·显卡·nvidia
great-wind1 个月前
麒麟系统离线安装英伟达驱动
nvidia
utmhikari1 个月前
【DIY小记】新手小白超频i9-12900kf和3070ti经验分享
cpu·显卡·nvidia·超频·微星
学森杰登1 个月前
大模型生成PPT大纲优化方案:基于 nVidia NIM 平台的递归结构化生成
人工智能·python·自然语言处理·chatgpt·powerpoint·nvidia