NeRFMeshing - 精确提取NeRF中的3D网格

准确的 3D 场景和对象重建对于机器人、摄影测量和 AR/VR 等各种应用至关重要。 NeRF 在合成新颖视图方面取得了成功,但在准确表示底层几何方面存在不足。

推荐:用 NSDT编辑器 快速搭建可编程3D场景

我们已经看到了最新的进展,例如 NVIDIA 的 Neuralangelo,但也有 NeRFMeshing,它被提议通过从 NeRF 驱动的网络中提取精确的 3D 网格来解决这一挑战。NeRFMeshing生成的网格在物理上是准确的,并且可以在不同的设备上实时渲染。

1、NeRFMeshing概述

虽然 NeRF 在图像质量、鲁棒性和渲染速度方面显示出令人印象深刻的结果,但从辐射场获取准确的 3D 网格仍然是一个挑战。 现有的表示主要针对视图合成进行优化,而不是明确强制执行精确的几何形状。 这导致使用体积的密集区域而不是零厚度的水平设置表面来近似表面。 此外,大多数以前的方法缺乏实时渲染功能以及与标准 3D 图形管道的兼容性。

NeRFMeshing 提出了一种新颖的管道,用于从经过训练的基于 NeRF 的网络中有效地提取几何精确的网格。 该方法仅增加很小的时间开销,并生成具有精确几何形状和神经颜色的网格,可以在通用硬件上实时渲染。

NeRFMeshing的关键组件是有符号表面近似网络 (SSAN: Signed Surface Appriximation Network),它训练后处理 NeRF 管道来定义底层表面和外观。 SSAN 估计截断符号距离场 (TSDF: Truncated Signed Distance Field) 和特征外观场,从而能够提取场景的 3D 三角形网格。 然后使用外观网络渲染该网格以生成与视图相关的颜色。

2、NeRFMeshing的优势

与替代方法相比,NeRFMeshing 具有多种优势。 它可以与任何 NeRF 架构相结合,从而轻松融入该领域的新进展。 该方法可以处理无界场景和复杂的非朗伯表面。 NeRFMeshing 还保持了神经辐射场的高保真度,包括视图相关的效果和反射,使其适合实时新颖的视图合成。

人们已经探索了学习有符号距离函数 (SDF: Signed Distance Field) 等替代方法来提取高质量网格,但通常需要额外的输入模式或固定网格模板。 另一方面,NeRFMeshing 利用 NeRF 的自适应能力来稳健地表示 3D 场景,而无需修改 NeRF 架构。 它克服了可微分网格光栅化器面临的优化问题,并实现了速度和几何精度。

NeRFMeshing 提供了一个端到端管道,用于利用 NeRF 的神经特征提取精确的 3D 网格。 该过程涉及从图像训练 NeRF 网络,然后将训练后的网络提炼到 SSAN 模型中。 该模型估计 TSDF 和外观场,从而可以提取 3D 网格。 生成的网格可以无缝集成到图形和模拟管道中,并实现依赖于视图的实时渲染。

NeRFMeshing 引入了一种从 NeRF 驱动的网络获取精确 3D 网格的新颖方法,解决了精确几何表示的挑战。 生成的网格可以实时渲染并提供高保真度,使其适合各种应用。 NeRFMeshing 的灵活性允许与不同的 NeRF 架构和未来的进步轻松集成。 该方法为真实 3D 场景和对象重建提供了可能性,从而实现基于物理的模拟、实时可视化和交互。


原文链接:NeRFMeshing网格提取 --- BimAnt

相关推荐
feasibility.3 天前
英伟达把物理AI的3D模型“应用商店”开放了:2575个SimReady仿真资产,总计约472GB,可让agent装配机器人训练场景
人工智能·3d·机器人·仿真·建模·具身智能·英伟达
Solange__5 天前
Blender 3D模型优化:普通复制、共享网格、实例、合并怎么选?
人工智能·3d·ai·自然语言处理·编辑器·blender·材质
Martina_03217 天前
AI生成的3D白模单帧没问题,镜头一移动就被挡?用6步检查遮挡与构图
图像处理·人工智能·数学建模·3d·ai·自然语言处理·游戏策划
时间的情敌9 天前
Cesium 建筑单体化、3DTiles 分类、楼层显隐、分户高亮(BIM + 倾斜孪生高频)
前端·3d·cesium
加搜科技观察10 天前
哪个品牌 3D 相机好用?工业 3D 相机品牌选型评估指南
数码相机·3d
Martina_032111 天前
AI生成3D场景的霓虹灯一开就糊成光团?用6步检查Emissive、Bloom与曝光
人工智能·3d·ai·自然语言处理·游戏引擎·材质·贴图
Martina_032112 天前
AI生成3D场景从白模换成精模后镜头全偏了?用6步检查单位、枢轴与层级替换
图像处理·人工智能·3d·ai·自然语言处理·材质·1024程序员节
时间的情敌13 天前
Cesium 加载 3D Tiles 倾斜摄影、压平、样式设置(Vue3 实战)
vue.js·3d·cesium
AGI_Eval14 天前
AI 3D生成技术:从“可用”走向“可靠”还有多远?
人工智能·3d