在不断发展的 3D 图形世界中,新的技术不断涌现,推动了图形表现的界限。**3D 高斯溅射 (3DGS)**就是这样一种突破性新技术,这种方法能够以高效的速度、高度渲染具有真实感的场景而备受瞩目。
通过 V-Ray 7 强大的光线追踪功能,您现在可以将真实环境中捕捉到的高斯溅射数据,与计算机生成的物体对象完美融合在一起。
如果您熟悉 3D 渲染技术,但对其技术细节了解不深,请继续阅读,看看 3DGS 如何成为下一次图形技术的重大突破。
什么是 3D 高斯溅射?
3D 高斯溅射 (3DGS) 的核心技术是通过数百万个微小的、半透明的椭球体(即"高斯溅射")来创建和渲染 3D 场景。与依赖多边形或复杂神经网络的传统方法不同,3DGS 利用这些溅射点来表现场景。每个溅射点包含其位置、颜色、大小和透明度的信息。当经过组合后,这些溅射点能高度还原场景的真实感。
3D 高斯溅射是如何进行呈现的?
3D 高斯溅射 (Gaussian Splatting) 可以准确地呈现从不同角度拍摄的多张照片中捕获的场景,这是计算机图形学中广泛使用的一种方法。通过一系列涉及优化算法和可微分光栅化的训练过程,这些图像被转换为可用于渲染的,精细的 3D 模型。
步骤流程
该过程的开始方式类似于摄影测量技术------使用照片或视频帧从多个角度捕捉拍摄对象。然后对这些图像进行分析,确定相机位置并生成场景的初步 3D 点云,这种方法被称为**"运动结构" (SfM)**。
每个点云中的点被转换为一个高斯溅射,它不仅仅是一个点,还是具有特定属性的椭球体:
- **位置:**确定溅射点在 3D 空间中的位置。
- **形状和大小:**控制溅射的拉伸或缩放,使其能够表现精细的细节。
- **颜色:**存储溅射的颜色信息,并且可以随着观察角度的改变而变化。
- **透明度:**控制溅射的透明度,这对于将多层溅射混合在一起至关重要。
然后这些溅射点会经过优化过程,以进一步调整完善其参数,涉及:
- **可微分光栅化:**将 3D 高斯溅射投射到 2D 平面,模拟相机视角。
- **损失函数:**测量渲染的溅射图像与原始输入图像的差异。
- **优化算法:**微调溅射,缩小渲染差异。
- **自适应密度控制:**删除不必要的溅射或在细节区域增加溅射。
最终生成的 3D 图像与原始场景高度吻合,可以随时进行渲染。
为什么 3D 高斯溅射带来了革命性变化?
3DGS 的革命性之处在于其逼真度、效率和渲染速度的结合,使之成为计算机图形学领域 令人兴奋的技术进展。
逼真度
3DGS 擅长捕捉细腻的细节和复杂的光影效果,例如反射和折射。从而实现了以往在实时渲染中难以达到的高度写实感渲染效果。
效率
与多边形网格或大量数据的神经网络相比,高斯溅射更加简洁,这意味着所需的存储和计算能力更少。
速度
由于采用了高效的数据结构和优化的渲染流程,3DGS 能够实现实时或接近实时的渲染速度,因此非常适合交互式应用。
可扩展性
高斯溅射 (Gaussian Splatting)能够高效处理包含数百万个溅射点的复杂场景,而不会对性能造成明显影响。
渲染 3D 高斯溅射
3DGS 可以实现非常快的渲染速度,但其代价是在逼真度和灵活性方面受到限制。将高斯溅射集成到 V-Ray 光线追踪引擎中,可以克服这些挑战。从而可以准确表视捕获的场景并实现创意控制。
3D 高斯溅射、光栅化和光线追踪
虽然高斯溅射依靠光栅化过程实现了极快的渲染速度,但这也带来了许多限制。
幸运的是,3D 高斯溅射技术令人兴奋的发展之一就是将其集成到 V-Ray 中,V-Ray 强大的光线追踪功能突破了这些障碍。
使用 V-Ray 渲染高斯溅射
V-Ray 7 成为首个支持加载和渲染高斯溅射的商用光线追踪器,为艺术家和设计师开创了新的更多可能性。
在许多场景中,您可能希望使用高斯溅射作为复杂背景,而不是单独的场景对象。使用 V-Ray,您可以轻松地将 3D 模型放置在高斯溅射的真实环境背景中。
与传统环境贴图相比的优势
与传统的环境贴图相比,在 V-Ray 中使用高斯溅射可以获得多种优势:
- **恰到好处的视差效果:**与传统的环境贴图不同,高斯溅射可以提供准确的深度信息,从而在摄影机移动时产生逼真的视差效果。
- **视角相关效果:**溅射(splats)可以捕捉到根据视角变化的反射和折射效果,从而增强真实感。
- **遮挡处理:**高斯溅射可遮挡场景中的其他物体,从而实现元素之间正确的分层和交互。
- **景深与运动模糊:**V-Ray 可以通过高斯溅射自然地呈现这些效果,增加场景的逼真度。
使用高斯溅射作为遮罩对象
在某些工作流程中,您可能希望高斯溅射可以作为遮罩对象。这意味着,它们会与场景中的其他元素进行交互,例如遮挡物体、投射阴影,出现在反射和折射中,但不会影响最终的 RGB 和 Alpha 通道。
当您计划在后期处理中,使用高分辨率图像或视频替换背景,又同时希望高斯溅射可以影响光照和反射时,这种设置将非常有用。
高斯溅射作为独立对象
高斯溅射也可用于表现场景中较小的单个物体。
需要注意的是,光照和反射都会烘焙到高斯溅射对象中,因此这些对象不会受到场景光照的影响。
有什么局限性吗?
尽管 3DGS 前景广阔,但仍存在一些挑战:
- **精细细节表现:**极其精细的细节有时可能会丢失或在溅射(splats)中出现锯齿状。
- **内存需求:**渲染超大场景仍然需要较大的内存资源。
- **艺术控制:**编辑或操控由高斯溅射呈现的场景不如传统 3D 建模那么简单直观。
目前,V-Ray 7 已支持高斯溅射作为场景对象的渲染,虽然基本功能已经具备,但仍有改进的空间。
- **速度改进:**虽然高斯溅射的渲染已经很高效,但我们相信还可以做出更多改进。
- 阴影: 高斯溅射在 V-Ray 中被视为自发光物体,因此无法直接接受来自其他物体对象的阴影。相反,您可以使用阴影捕捉器虚拟几何体来覆盖阴影所在位置。
- **对渲染元素的支持:**目前还不支持渲染元素,但是 Z-深度,Cryptomatte 和 XYZ 通道都在我们的待办事项清单中。
- **GPU 渲染:**目前仅支持 V-Ray CPU。
在哪里可以创建 3DGS?
一些工具和平台开始支持 3DGS 创建:
- Nerf Studio: 用于创建、训练和可视化 3D 高斯溅射的命令行界面和工具。
- Polycam: 基于 Web 渲染器,使用 Three.js ,可实现交互式可视化。
- Luma AI: 提供基于 Web 的平台和 API,用于生成和渲染高质量 3D 高斯溅射。
- Postshot: 用于创建、训练和可视化 3D 高斯溅射的独立应用程序。
3D 高斯溅射的未来
3D 高斯溅射 (Gaussian Splatting)技术的潜在应用领域非常广泛:
- **影视与特效:**为电影、动画和虚拟制作创建细致且逼真的环境场景和资产。
- **虚拟现实和增强现实(VR/AR):**提升 VR/AR 体验的真实感和性能。
- **数字孪生和仿真:**为现实世界的物体和环境生成准确而详细的数字表现。
随着研究的深入,我们可以期待编辑功能的改进、与现有工作流程的更好集成以及更逼真的效果。3DGS 有望成为 3D 图形和计算机视觉领域的一项基础技术,为创意表达和技术创新带来新的可能性。
总结
3D 高斯溅射 (Gaussian Splatting)是 3D 渲染领域的一项激动人心的发展。它提供了一种更高效、更逼真的捕捉和渲染场景的方法,有望改变从电影、建筑可视化到虚拟现实等各个行业。虽然它仍是一项发展中的技术,存在一些局限性,但它的优势使其成为一项值得探索的技术。
无论您是寻找新工具的 3D 艺术家,还是只对最新渲染技术发展感兴趣的人。3DGS 都代表着我们在创建和体验数字世界方面向前迈进了一大步。