计算机视觉与图形学-神经渲染专题-Seal-3D(基于NeRF的像素级交互式编辑)

摘要

随着隐式神经表示或神经辐射场 (NeRF) 的流行,迫切需要与隐式 3D 模型交互的编辑方法,以完成后处理重建场景和 3D 内容创建等任务。虽然之前的作品从不同角度探索了 NeRF 编辑,但它们在编辑灵活性、质量和速度方面受到限制,无法提供直接的编辑响应和即时预览。关键的挑战是构思一种本地可编辑的神经表示,它可以直接反映编辑指令并立即更新。为了弥补这一差距,我们提出了一种新的隐式表示交互式编辑方法和系统,称为 Seal-3D,它允许用户以像素级和自由的方式编辑 NeRF 模型 ,并具有广泛的类 NeRF 主干网,并预览 立即编辑效果。为了实现这些效果,我们提出的代理函数将编辑指令映射到 NeRF 模型的原始空间 ,以及具有局部预训练和全局微调的student-teacher训练策略来解决这些挑战。NeRF 编辑系统旨在展示各种编辑类型。我们的系统可以以约1秒的交互速度实现引人注目的编辑效果。

工程链接:https://windingwind.github.io/seal-3d/

框架

左图:用户编辑后目标空间的 3D 点和视图方向映射到原始源空间,以从教师模型获取指导 ct、σt 以进行学生训练。右图:学生训练由两个阶段组成:快速预训练,通过局部损失更新网络的部分参数来提供即时预览,以及全局损失的微调。

实验结果

第一个交互式像素级 NeRF 编辑工具。我们设计了一种交互式用户编辑方法和系统 Seal-3D,通过我们新颖的预训练策略实现了即时(约 1 秒)预览(左)。通过短时间(1~2分钟)的微调,可以进一步获得高质量的编辑结果。我们实施编辑的编辑结果工具(右)与原始表面(左)上丰富的阴影细节(例如阴影)在视图上保持一致。

3D内容编辑

结论

我们引入了一个用于神经辐射场像素级编辑的交互式框架,支持即时预览。具体来说,我们利用student-teacher蒸馏方法提供编辑指导,并设计两阶段训练策略来实现网络即时收敛,以获得粗略结果作为预览。与以前的工作不同,我们的方法不需要任何显式代理(例如网格),从而提高了交互性和用户友好性。我们的方法还支持在编辑的表面上保留着色效果。一个限制是我们的方法不支持复杂的依赖于视图的照明效果,例如镜面反射,并且不能改变场景照明,这可以通过引入内在合成来改进。此外,我们的方法不处理原始 NeRF 网络的重建失败(例如浮动伪影)。

相关推荐
吴佳浩4 小时前
我把 HAMi 摆回一台双卡机器上跑了一遍:GPU 编排的性能账,到底记在谁头上
人工智能·gpu
forest_098 小时前
《AI 编程 Harness 实战手册》04|审批这道门:点了一百次“允许”,还剩多少作用?
人工智能·算法·prompt·agi
火山引擎开发者社区9 小时前
当 RPA 遇上 Agent:MUA 混合执行 Workflow 深度拆解
人工智能
严肃小白兔9 小时前
第 10/24 期:深度神经网络的自动求导机制与梯度验证
人工智能·神经网络·dnn
火山引擎开发者社区9 小时前
定档12.16-12.18!FORCE原动力大会上海见!
人工智能
努力的MM12310 小时前
CAIE 二级和阿里云大模型 ACP 怎么选?企业 AI 工程与云平台开发能力对比
人工智能
老金带你玩AI10 小时前
Kling Image 4.0来了!8K和组图直出,电商人的提效神器?
人工智能
孟健10 小时前
用 unslop 拯救 AI 生成网页的塑料感,7 分钟重构落地实测
前端·人工智能·ai编程
stormzhangV10 小时前
Google 重返第一梯队
人工智能·google·aigc