借助 NVIDIA AI 和路径跟踪技术实现超现实

这篇文章最初发表在 NVIDIA 技术博客上。

GDC 2023 上, NVIDIA 发布了新工具,使开发人员更容易访问实时路径跟踪,同时加速创建超逼真的游戏世界。

视频 1 。 NVIDIA 在 GDC 2023 :帧生成和路径跟踪工具现已上市

使用 AI 渲染的最新突破生成帧

DLSS 3 采用 NVIDIA Ada Lovelace 架构发布,不仅提高了视觉效果,还提高了性能和响应能力。自 2019 年推出 NVIDIA 图灵架构以来, DLSS 不断为游戏渲染中的人工智能设定新标准。

帧生成是最新的发展。

图 1 。 DLSS 3 帧生成后处理流水线

DLSS 帧生成是 DLSS 3 中使用 AI 创建全新帧的新性能倍增器。它由 NVIDIA GeForce 40 系列和光流加速器提供动力。这一突破使实时路径追踪成为视频游戏图形领域的下一个前沿。

自该公告发布以来, 28 款顶级游戏和应用程序现在都使用 DLSS 3 来提供具有难以置信性能的逼真图形,包括《瘟疫故事安魂曲》、《带有 RTX 的门户》和《赛博朋克 2077 》。在某些情况下,游戏中每秒帧数几乎增加了两倍。

DLSS Frame Generation 即将通过 Streamline 2.0 SDK 作为开发人员的插件加入 GDC 。 Streamline 是 NVIDIA 开源跨 IHV 框架,简化了 DLSS 3 等功能的集成。您无需手动集成 DLSS 帧生成 SDK ,而是确定所需插件需要哪些资源(运动向量、深度等),然后执行插件以在渲染管道中运行。

此外, Epic Games 宣布, DLSS 框架生成插件将在其下一版本中加入虚幻引擎。再加上 UE5 提供的 NVIDIA Reflex 低延迟技术,您拥有所有工具来提高游戏性能,同时为玩家提供高度响应的体验。

Epic 和 NVIDIA 共同推动了人工智能在游戏开发中的发展,使实时路径跟踪更接近现实。

Epic games 工程副总裁 Nick Penwarden 表示:" NVIDIA DLSS 3 引入了令人印象深刻的帧生成技术,虚幻引擎 5.2 插件将为开发者提供一个提高游戏质量和性能的绝佳选择。"。

简化了实时路径跟踪技术的集成

随着 NVIDIA 图灵架构中 RT 内核的引入,游戏中的实时光线追踪成为可能。从那以后, NVIDIA 一直在努力应对下一个挑战。

NVIDIA RTX Path Tracing SDK 在 GDC2023 发布,可供各地的开发人员使用。

\]([developer-blogs.nvidia.com/wp-content/...](https://link.juejin.cn?target=https%3A%2F%2Fdeveloper-blogs.nvidia.com%2Fwp-content%2Fuploads%2F2023%2F03%2Fportal- "https://developer-blogs.nvidia.com/wp-content/uploads/2023/03/portal-") RTX -ray-tracing.png) *图 2:Portal 的下一代照明通过路径跟踪直接和间接照明以及着色器执行重新排序进行重建* RTX 路径跟踪 SDK 准确地重新创建了场景中所有光源的物理特性,以再现眼睛在现实生活中看到的东西。这个新的 SDK 为您提供了灵活性和可定制性,使您能够利用经验证的 NVIDIA 技术来适应以下用例: * 构建一个参考路径跟踪器,以确保您在生产过程中的照明逼真,从而加快迭代过程。 * 为支持 RT 的 GPU 构建高质量照片模式,或利用 Ada-Lovelace 架构的实时超高质量模式。 RTX 路径跟踪 SDK 是 NVIDIA 数十年研究的结晶。此 SDK 演示了使用以下工具和功能的最新版本构建路径跟踪器的最佳实践: * 用于超分辨率和帧生成的 DLSS 3 ,以提高性能。 * RTX 直接照明( RTX DI ),用于对大量阴影投射和动态灯光进行有效采样。 * NVIDIA 实时去噪器( NRD ),用于所有光源的高性能去噪。 * 不透明度微贴图( OMM ),用于提高具有重 alpha 效果的场景中的 RT 性能。 * 着色器执行重新排序( SER ),用于改进着色器调度,从而提高性能。 [![Workflow begins with V-buffer via ray tracing or rasterization, moves to the lighting pipeline with direct or indirect illumination or a dynamic irradiance cache, goes on to the post-processing pipeline with denoising and superresolution, and outputs with frame generation.](https://file.jishuzhan.net/article/1696419931458899970/52dff5c17cf443e1ad1a6b48f2ae5966.webp)](https://link.juejin.cn?target=https%3A%2F%2Fdeveloper-blogs.nvidia.com%2Fwp-content%2Fuploads%2F2023%2F03%2FReal-time-path-tracing-pipeline.png "https://developer-blogs.nvidia.com/wp-content/uploads/2023/03/Real-time-path-tracing-pipeline.png") *图 3 。使用 NVIDIA RTX SDK 组件构建的实时路径跟踪管道* 此 SDK 包含所有必要的 NVIDIA RTX 组件、文档和示例应用程序,供您今天开始使用。 ## 提高路径跟踪性能并提高可访问性 NVIDIA 不断寻找更多机会来提高实时路径跟踪的性能,这导致了 Opacity Micro Map ( OMM )的开发,并在 GTC 2022 上宣布。 所有开发人员都可以使用 [OMM SDK 1.0](https://link.juejin.cn?target=https%3A%2F%2Fdeveloper.nvidia.com%2Frtx%2Fray-tracing%2Fopacity-micro-map%2Fget-started "https://developer.nvidia.com/rtx/ray-tracing/opacity-micro-map/get-started") 。 OMM 允许您有效地将复杂的几何图形(如茂密的植被和树叶)映射到三角形和微网格上,从而在详细场景中提供高水平的性能。 为了优化所有这些新的路径跟踪和 AI 渲染技术,现在可以更新 [Nsight Systems](https://link.juejin.cn?target=https%3A%2F%2Fdeveloper.nvidia.com%2Fnsight-systems "https://developer.nvidia.com/nsight-systems") 。此版本支持在 Vulkan 应用程序中分析 OMM ,使您能够拦截故障的 OMM 功能。即将发布的 [Nsight Graphics](https://link.juejin.cn?target=https%3A%2F%2Fdeveloper.nvidia.com%2Fnsight-graphics "https://developer.nvidia.com/nsight-graphics") 更新将使您能够检查和调试 OMM 的性能增益。 [NVIDIA Nsight Developer Tools](https://link.juejin.cn?target=https%3A%2F%2Fdeveloper.nvidia.com%2Ftools-overview "https://developer.nvidia.com/tools-overview") 提供了业界领先的性能见解和调试指导,多年来确保了最佳路径跟踪集成。 Nsight Graphics 剖析 GPU 活动,如曝光消除停滞的射线源着色器指标,以及为地面实况照明进行优化的加速结构。 最近,它被用于在即将推出的《赛博朋克 2077 光线追踪: Overdrive 》模式中改进路径追踪,解决了着色器效率低下的问题。观看演示视频了解更多信息。 *视频 2 。 Nsight 开发工具:《赛博朋克 2077 》如何使用 NVIDIA 的工具实现逼真的图形* ## 焦散 最后, NVIDIA 在虚幻引擎 5 的 NVIDIA 焦散分支中提供了一组新的光线跟踪功能,使所有虚幻引擎开发人员更容易开始他们的路径跟踪之旅。 *Caustics* 是一种存在于我们周围的光学现象,在它撞击玻璃等反射材料并产生弯曲的光区域之前,肉眼是看不见的。 这项技术现在可通过 UE 5.1 [Caustics branch](https://link.juejin.cn?target=https%3A%2F%2Fgithub.com%2FNvRTX%2FUnrealEngine%2Ftree%2FNvRTX_Caustics-5.1 "https://github.com/NvRTX/UnrealEngine/tree/NvRTX_Caustics-5.1") 获得,使其更容易利用金属和半透明网格以及水面周围的焦散效果。有关如何获得访问权限的更多信息,请参阅 [Accessing Unreal Engine source code on GitHub](https://link.juejin.cn?target=https%3A%2F%2Fwww.unrealengine.com%2Fen-US%2Fue-on-github "https://www.unrealengine.com/en-US/ue-on-github") 。 光线追踪景深是这个分支的一个突出特点。在传统的光栅化工作流程中,相机景深是精确计算半透明对象的一个挑战。使用"焦散"分支,可以实现这样的摄影机效果。 图 4 显示了具有半透明挑战的传统光栅化流水线相机景深。 *图 4 。焦散光栅景深* 图 5 显示了光线跟踪相机的景深带来了解决半透明问题的挑战。 *图 5 。焦散射线跟踪景深* 在图 4 和图 5 中,您可以看到传统焦散光栅和光线跟踪景深之间的细节差异。 ## 接下来的步骤 有关此焦散分支中引入的其他功能的更多信息,请参阅 [Unreal Engine overview](https://link.juejin.cn?target=https%3A%2F%2Fdeveloper.nvidia.com%2Fgame-engines%2Funreal-engine "https://developer.nvidia.com/game-engines/unreal-engine") 页面。 有关重新创建完全路径跟踪和人工智能驱动的虚拟世界的免费资源的更多信息,请参阅 [NVIDIA Game Development resources](https://link.juejin.cn?target=https%3A%2F%2Fdeveloper.nvidia.com%2Findustries%2Fgame-development "https://developer.nvidia.com/industries/game-development") 页面。 查看 [NVIDIA GTC 2023 game development sessions](https://link.juejin.cn?target=https%3A%2F%2Fregister.nvidia.com%2Fevents%2Fwidget%2Fnvidia%2Fgtcspring2023%2F1674888988405001Evjl "https://register.nvidia.com/events/widget/nvidia/gtcspring2023/1674888988405001Evjl") 。 [阅读原文](https://link.juejin.cn?target=https%3A%2F%2Fdeveloper.nvidia.com%2Fzh-cn%2Fblog%2Fultra-realism-made-accessible-with-ai-and-path-tracing-technologies%2F "https://developer.nvidia.com/zh-cn/blog/ultra-realism-made-accessible-with-ai-and-path-tracing-technologies/")

相关推荐
free-xx3 天前
AGX Orin平台RTC驱动导致reboot系统卡住问题调试
nvidia·jetson·orin
AndrewHZ11 天前
【三维渲染技术讨论】Blender输出的三维文件里的透明贴图在Isaac Sim里会丢失, 是什么原因?
算法·3d·blender·nvidia·贴图·具身智能·isaac sim
荔枝吻14 天前
【沉浸式解决问题】NVIDIA 显示设置不可用。 您当前未使用连接到NVIDIA GPU 的显示器。
nvidia·英伟达
算家计算15 天前
算力暴增!英伟达发布新一代机器人超级计算机,巨量算力驱动物理AI革命
人工智能·云计算·nvidia
可期不折腾16 天前
NVIDIA Nsight Systems性能分析工具
ubuntu·nvidia·nsight systems·性能分析工具
量子位1 个月前
黄仁勋子女成长路径曝光:一个学烘焙一个开酒吧,从基层做到英伟达高管
ai编程·nvidia
Ray Song1 个月前
CUDA杂记--nvcc使用介绍
nvidia·cuda·nvcc
吾鳴1 个月前
网信办约谈英伟达,H20芯片后门风波震动中国AI产业
人工智能·nvidia·芯片
mpr0xy2 个月前
编译支持cuda硬件加速的ffmpeg
ai·ffmpeg·nvidia·cuda
GitLqr2 个月前
一周AI | 国际:NVIDIA、OpenAI、MidJourney 等行业巨头的创新与布局
openai·nvidia·lovable