【NeRF及其代码NeRF-Pytorch实现】

文章目录

  • 模型输入和输出

  • NeRF-Pytorch代码

  • 参考

  • 在没有仔细学习过NeRF之前,对于NeRF的直观感受是,它是对某个场景三维模型的一个拟合,并且实现了一个渲染的效果,即输入相机位姿信息,输出对应位姿信息的渲染图像。

  • NeRF训练的过程实际上是三维重建/反渲染的过程,即通过渲染的图片来得到三维模型的隐式表达。而NeRF模型训练完成之后的推理过程是渲染过程。

模型输入和输出

  • 直观理解的网络

  • 实际实现的细节

  • 输入(理解层面是相机位姿,实际是采样点的位置和观测角度):5D的相机位姿信息 ( x , y , z , θ , ϕ ) (x, y, z, \theta, \phi) (x,y,z,θ,ϕ),其中包括了相机的三维位置以及角度(包括俯仰角和方位角)。但是在实际代码实现过程中使用两个(x, y, z)来代替5D的位姿信息,并且使用了位置编码(用于增强)的方式来编码6D坐标,最后得到63维+27维的输入。并且作者认为采样点不透明度与观测角度无关,只与采样点位置有关,所以采用了分开输入的方式,只使用相机坐标63维来预测不透明度,并在随后的层中cat进代表相机方向的坐标27维。

  • 输出:NeRF采用体积雾的渲染方式,NeRF模型的直接输出为采样点的颜色RGB以及不透明度信息,通过后处理(体积渲染进行积分,后面会提到)的方式得到最终渲染好的图像。

  • NeRF模型直接输出的含义:一段采样点上的RGBA值,在射线方向上进行积分得到最终一个像素点颜色值(体积雾渲染)。

  • 位置编码(增强高频信息):对于位置xyz坐标(对于两个不同的位置坐标都采用了位置编码,但是所使用的项数不同,相机位置使用10,而相机方向的坐标使用4),文章采用了位置编码的方式,具体而言,对于每个维度,使用cos和sin来编码,并且对于每个cos和sin,都是用了十项,所以输入维度变成 3 + ( 10 + 10 ) ∗ 3 = 63 3+(10+10)*3=63 3+(10+10)∗3=63

  • 训练资料:一个像素+一个相机位姿,而不是一张图+一个相机位姿。一个batch包含很多不同位置像素+位姿。

  • 体积渲染:其中特定的积分方式考虑了遮挡问题(主要考虑第一个波峰的贡献)。采样点个数也是一个超参数。

  • 分层采样

NeRF-Pytorch代码

参考

相关推荐
SweetCode几秒前
裴蜀定理:整数解的奥秘
数据结构·python·线性代数·算法·机器学习
程序员Linc13 分钟前
写给新人的深度学习扫盲贴:向量与矩阵
人工智能·深度学习·矩阵·向量
CryptoPP13 分钟前
springboot 对接马来西亚数据源API等多个国家的数据源
spring boot·后端·python·金融·区块链
xcLeigh21 分钟前
OpenCV从零开始:30天掌握图像处理基础
图像处理·人工智能·python·opencv
大乔乔布斯21 分钟前
AttributeError: module ‘smtplib‘ has no attribute ‘SMTP_SSL‘ 解决方法
python·bash·ssl
果冻人工智能24 分钟前
如何有效应对 RAG 中的复杂查询?
人工智能
2305_7978820933 分钟前
AI识图小程序的功能框架设计
人工智能·微信小程序·小程序
明灯L34 分钟前
《函数基础与内存机制深度剖析:从 return 语句到各类经典编程题详解》
经验分享·python·算法·链表·经典例题
果冻人工智能35 分钟前
向量搜索中常见的8个错误(以及如何避免它们)
人工智能
databook35 分钟前
不平衡样本数据的救星:数据再分配策略
python·机器学习·scikit-learn