【NeRF及其代码NeRF-Pytorch实现】

文章目录

  • 模型输入和输出

  • NeRF-Pytorch代码

  • 参考

  • 在没有仔细学习过NeRF之前,对于NeRF的直观感受是,它是对某个场景三维模型的一个拟合,并且实现了一个渲染的效果,即输入相机位姿信息,输出对应位姿信息的渲染图像。

  • NeRF训练的过程实际上是三维重建/反渲染的过程,即通过渲染的图片来得到三维模型的隐式表达。而NeRF模型训练完成之后的推理过程是渲染过程。

模型输入和输出

  • 直观理解的网络

  • 实际实现的细节

  • 输入(理解层面是相机位姿,实际是采样点的位置和观测角度):5D的相机位姿信息 ( x , y , z , θ , ϕ ) (x, y, z, \theta, \phi) (x,y,z,θ,ϕ),其中包括了相机的三维位置以及角度(包括俯仰角和方位角)。但是在实际代码实现过程中使用两个(x, y, z)来代替5D的位姿信息,并且使用了位置编码(用于增强)的方式来编码6D坐标,最后得到63维+27维的输入。并且作者认为采样点不透明度与观测角度无关,只与采样点位置有关,所以采用了分开输入的方式,只使用相机坐标63维来预测不透明度,并在随后的层中cat进代表相机方向的坐标27维。

  • 输出:NeRF采用体积雾的渲染方式,NeRF模型的直接输出为采样点的颜色RGB以及不透明度信息,通过后处理(体积渲染进行积分,后面会提到)的方式得到最终渲染好的图像。

  • NeRF模型直接输出的含义:一段采样点上的RGBA值,在射线方向上进行积分得到最终一个像素点颜色值(体积雾渲染)。

  • 位置编码(增强高频信息):对于位置xyz坐标(对于两个不同的位置坐标都采用了位置编码,但是所使用的项数不同,相机位置使用10,而相机方向的坐标使用4),文章采用了位置编码的方式,具体而言,对于每个维度,使用cos和sin来编码,并且对于每个cos和sin,都是用了十项,所以输入维度变成 3 + ( 10 + 10 ) ∗ 3 = 63 3+(10+10)*3=63 3+(10+10)∗3=63

  • 训练资料:一个像素+一个相机位姿,而不是一张图+一个相机位姿。一个batch包含很多不同位置像素+位姿。

  • 体积渲染:其中特定的积分方式考虑了遮挡问题(主要考虑第一个波峰的贡献)。采样点个数也是一个超参数。

  • 分层采样

NeRF-Pytorch代码

参考

相关推荐
TGITCIC3 分钟前
BERT与Transformer到底选哪个-下部
人工智能·gpt·大模型·aigc·bert·transformer
Lx3524 分钟前
AutoML逆袭:普通开发者如何玩转大模型调参
人工智能
IT古董6 分钟前
【漫话机器学习系列】185.神经网络参数的标准初始化(Normalized Initialization of Neural Network Parameter
人工智能
嘻嘻哈哈开森7 分钟前
Java开发工程师转AI工程师
人工智能·后端
rocksun9 分钟前
Agentic AI和平台工程:如何结合
人工智能·devops
孔令飞19 分钟前
关于 LLMOPS 的一些粗浅思考
人工智能·云原生·go
创新技术阁23 分钟前
FastAPI 的两大核心组件:Starlette 和 Pydantic 详解
后端·python
关山月24 分钟前
被低估的服务器发送事件(SSE)
python
Lecea_L25 分钟前
你能在K步内赚最多的钱吗?用Java解锁最大路径收益算法(含AI场景分析)
java·人工智能·算法
2501_9071368229 分钟前
OfficeAI构建本地办公生态:WPS/Word双端联动,数据自由流转
人工智能·word·wps