计算机视觉与图形学-神经渲染专题-Seal-3D(基于NeRF的像素级交互式编辑)

摘要

随着隐式神经表示或神经辐射场 (NeRF) 的流行,迫切需要与隐式 3D 模型交互的编辑方法,以完成后处理重建场景和 3D 内容创建等任务。虽然之前的作品从不同角度探索了 NeRF 编辑,但它们在编辑灵活性、质量和速度方面受到限制,无法提供直接的编辑响应和即时预览。关键的挑战是构思一种本地可编辑的神经表示,它可以直接反映编辑指令并立即更新。为了弥补这一差距,我们提出了一种新的隐式表示交互式编辑方法和系统,称为 Seal-3D,它允许用户以像素级和自由的方式编辑 NeRF 模型 ,并具有广泛的类 NeRF 主干网,并预览 立即编辑效果。为了实现这些效果,我们提出的代理函数将编辑指令映射到 NeRF 模型的原始空间 ,以及具有局部预训练和全局微调的student-teacher训练策略来解决这些挑战。NeRF 编辑系统旨在展示各种编辑类型。我们的系统可以以约1秒的交互速度实现引人注目的编辑效果。

工程链接:https://windingwind.github.io/seal-3d/

框架

左图:用户编辑后目标空间的 3D 点和视图方向映射到原始源空间,以从教师模型获取指导 ct、σt 以进行学生训练。右图:学生训练由两个阶段组成:快速预训练,通过局部损失更新网络的部分参数来提供即时预览,以及全局损失的微调。

实验结果

第一个交互式像素级 NeRF 编辑工具。我们设计了一种交互式用户编辑方法和系统 Seal-3D,通过我们新颖的预训练策略实现了即时(约 1 秒)预览(左)。通过短时间(1~2分钟)的微调,可以进一步获得高质量的编辑结果。我们实施编辑的编辑结果工具(右)与原始表面(左)上丰富的阴影细节(例如阴影)在视图上保持一致。

3D内容编辑

结论

我们引入了一个用于神经辐射场像素级编辑的交互式框架,支持即时预览。具体来说,我们利用student-teacher蒸馏方法提供编辑指导,并设计两阶段训练策略来实现网络即时收敛,以获得粗略结果作为预览。与以前的工作不同,我们的方法不需要任何显式代理(例如网格),从而提高了交互性和用户友好性。我们的方法还支持在编辑的表面上保留着色效果。一个限制是我们的方法不支持复杂的依赖于视图的照明效果,例如镜面反射,并且不能改变场景照明,这可以通过引入内在合成来改进。此外,我们的方法不处理原始 NeRF 网络的重建失败(例如浮动伪影)。

相关推荐
卧式纯绿9 分钟前
每日文献(八)——Part one
人工智能·yolo·目标检测·计算机视觉·目标跟踪·cnn
巷95515 分钟前
OpenCV图像形态学:原理、操作与应用详解
人工智能·opencv·计算机视觉
深蓝易网1 小时前
为什么制造企业需要用MES管理系统升级改造车间
大数据·运维·人工智能·制造·devops
xiangzhihong81 小时前
Amodal3R ,南洋理工推出的 3D 生成模型
人工智能·深度学习·计算机视觉
阿linlin1 小时前
OpenCV--图像预处理学习01
opencv·学习·计算机视觉
狂奔solar1 小时前
diffusion-vas 提升遮挡区域的分割精度
人工智能·深度学习
资源大全免费分享1 小时前
MacOS 的 AI Agent 新星,本地沙盒驱动,解锁 macOS 操作新体验!
人工智能·macos·策略模式
跳跳糖炒酸奶2 小时前
第四章、Isaacsim在GUI中构建机器人(2):组装一个简单的机器人
人工智能·python·算法·ubuntu·机器人
AI.NET 极客圈2 小时前
AI与.NET技术实操系列(四):使用 Semantic Kernel 和 DeepSeek 构建AI应用
人工智能·.net
Debroon2 小时前
应华为 AI 医疗军团之战,各方动态和反应
人工智能·华为