计算机视觉与图形学-神经渲染专题-Seal-3D(基于NeRF的像素级交互式编辑)

摘要

随着隐式神经表示或神经辐射场 (NeRF) 的流行,迫切需要与隐式 3D 模型交互的编辑方法,以完成后处理重建场景和 3D 内容创建等任务。虽然之前的作品从不同角度探索了 NeRF 编辑,但它们在编辑灵活性、质量和速度方面受到限制,无法提供直接的编辑响应和即时预览。关键的挑战是构思一种本地可编辑的神经表示,它可以直接反映编辑指令并立即更新。为了弥补这一差距,我们提出了一种新的隐式表示交互式编辑方法和系统,称为 Seal-3D,它允许用户以像素级和自由的方式编辑 NeRF 模型 ,并具有广泛的类 NeRF 主干网,并预览 立即编辑效果。为了实现这些效果,我们提出的代理函数将编辑指令映射到 NeRF 模型的原始空间 ,以及具有局部预训练和全局微调的student-teacher训练策略来解决这些挑战。NeRF 编辑系统旨在展示各种编辑类型。我们的系统可以以约1秒的交互速度实现引人注目的编辑效果。

工程链接:https://windingwind.github.io/seal-3d/

框架

左图:用户编辑后目标空间的 3D 点和视图方向映射到原始源空间,以从教师模型获取指导 ct、σt 以进行学生训练。右图:学生训练由两个阶段组成:快速预训练,通过局部损失更新网络的部分参数来提供即时预览,以及全局损失的微调。

实验结果

第一个交互式像素级 NeRF 编辑工具。我们设计了一种交互式用户编辑方法和系统 Seal-3D,通过我们新颖的预训练策略实现了即时(约 1 秒)预览(左)。通过短时间(1~2分钟)的微调,可以进一步获得高质量的编辑结果。我们实施编辑的编辑结果工具(右)与原始表面(左)上丰富的阴影细节(例如阴影)在视图上保持一致。

3D内容编辑

结论

我们引入了一个用于神经辐射场像素级编辑的交互式框架,支持即时预览。具体来说,我们利用student-teacher蒸馏方法提供编辑指导,并设计两阶段训练策略来实现网络即时收敛,以获得粗略结果作为预览。与以前的工作不同,我们的方法不需要任何显式代理(例如网格),从而提高了交互性和用户友好性。我们的方法还支持在编辑的表面上保留着色效果。一个限制是我们的方法不支持复杂的依赖于视图的照明效果,例如镜面反射,并且不能改变场景照明,这可以通过引入内在合成来改进。此外,我们的方法不处理原始 NeRF 网络的重建失败(例如浮动伪影)。

相关推荐
余弦的倒数9 分钟前
知识蒸馏和迁移学习的区别
人工智能·机器学习·迁移学习
Allen Bright9 分钟前
【机器学习-线性回归-2】理解线性回归中的连续值与离散值
人工智能·机器学习·线性回归
青松@FasterAI1 小时前
【程序员 NLP 入门】词嵌入 - 上下文中的窗口大小是什么意思? (★小白必会版★)
人工智能·自然语言处理
AIGC大时代1 小时前
高效使用DeepSeek对“情境+ 对象 +问题“型课题进行开题!
数据库·人工智能·算法·aigc·智能写作·deepseek
硅谷秋水1 小时前
GAIA-2:用于自动驾驶的可控多视图生成世界模型
人工智能·机器学习·自动驾驶
偶尔微微一笑1 小时前
AI网络渗透kali应用(gptshell)
linux·人工智能·python·自然语言处理·编辑器
深度之眼2 小时前
2025时间序列都有哪些创新点可做——总结篇
人工智能·深度学习·机器学习·时间序列
晓数2 小时前
【硬核干货】JetBrains AI Assistant 干货笔记
人工智能·笔记·jetbrains·ai assistant
在下胡三汉2 小时前
来自 3D 世界的 JPEG。什么是 glTF?什么是 glb?
3d
jndingxin2 小时前
OpenCV 图形API(60)颜色空间转换-----将图像从 YUV 色彩空间转换为 RGB 色彩空间函数YUV2RGB()
人工智能·opencv·计算机视觉