【NeRF及其代码NeRF-Pytorch实现】

文章目录

  • 模型输入和输出

  • NeRF-Pytorch代码

  • 参考

  • 在没有仔细学习过NeRF之前,对于NeRF的直观感受是,它是对某个场景三维模型的一个拟合,并且实现了一个渲染的效果,即输入相机位姿信息,输出对应位姿信息的渲染图像。

  • NeRF训练的过程实际上是三维重建/反渲染的过程,即通过渲染的图片来得到三维模型的隐式表达。而NeRF模型训练完成之后的推理过程是渲染过程。

模型输入和输出

  • 直观理解的网络

  • 实际实现的细节

  • 输入(理解层面是相机位姿,实际是采样点的位置和观测角度):5D的相机位姿信息 ( x , y , z , θ , ϕ ) (x, y, z, \theta, \phi) (x,y,z,θ,ϕ),其中包括了相机的三维位置以及角度(包括俯仰角和方位角)。但是在实际代码实现过程中使用两个(x, y, z)来代替5D的位姿信息,并且使用了位置编码(用于增强)的方式来编码6D坐标,最后得到63维+27维的输入。并且作者认为采样点不透明度与观测角度无关,只与采样点位置有关,所以采用了分开输入的方式,只使用相机坐标63维来预测不透明度,并在随后的层中cat进代表相机方向的坐标27维。

  • 输出:NeRF采用体积雾的渲染方式,NeRF模型的直接输出为采样点的颜色RGB以及不透明度信息,通过后处理(体积渲染进行积分,后面会提到)的方式得到最终渲染好的图像。

  • NeRF模型直接输出的含义:一段采样点上的RGBA值,在射线方向上进行积分得到最终一个像素点颜色值(体积雾渲染)。

  • 位置编码(增强高频信息):对于位置xyz坐标(对于两个不同的位置坐标都采用了位置编码,但是所使用的项数不同,相机位置使用10,而相机方向的坐标使用4),文章采用了位置编码的方式,具体而言,对于每个维度,使用cos和sin来编码,并且对于每个cos和sin,都是用了十项,所以输入维度变成 3 + ( 10 + 10 ) ∗ 3 = 63 3+(10+10)*3=63 3+(10+10)∗3=63

  • 训练资料:一个像素+一个相机位姿,而不是一张图+一个相机位姿。一个batch包含很多不同位置像素+位姿。

  • 体积渲染:其中特定的积分方式考虑了遮挡问题(主要考虑第一个波峰的贡献)。采样点个数也是一个超参数。

  • 分层采样

NeRF-Pytorch代码

参考

相关推荐
木头左2 小时前
逻辑回归的Python实现与优化
python·算法·逻辑回归
quant_19863 小时前
R语言如何接入实时行情接口
开发语言·经验分享·笔记·python·websocket·金融·r语言
杨小扩5 小时前
第4章:实战项目一 打造你的第一个AI知识库问答机器人 (RAG)
人工智能·机器人
whaosoft-1435 小时前
51c~目标检测~合集4
人工智能
雪兽软件5 小时前
2025 年网络安全与人工智能发展趋势
人工智能·安全·web安全
元宇宙时间6 小时前
全球发展币GDEV:从中国出发,走向全球的数字发展合作蓝图
大数据·人工智能·去中心化·区块链
小黄人20257 小时前
自动驾驶安全技术的演进与NVIDIA的创新实践
人工智能·安全·自动驾驶
ZStack开发者社区8 小时前
首批 | 云轴科技ZStack加入施耐德电气技术本地化创新生态
人工智能·科技·云计算
失败又激情的man8 小时前
python之requests库解析
开发语言·爬虫·python
打酱油的;8 小时前
爬虫-request处理get
爬虫·python·django