【NeRF及其代码NeRF-Pytorch实现】

文章目录

  • 模型输入和输出

  • NeRF-Pytorch代码

  • 参考

  • 在没有仔细学习过NeRF之前,对于NeRF的直观感受是,它是对某个场景三维模型的一个拟合,并且实现了一个渲染的效果,即输入相机位姿信息,输出对应位姿信息的渲染图像。

  • NeRF训练的过程实际上是三维重建/反渲染的过程,即通过渲染的图片来得到三维模型的隐式表达。而NeRF模型训练完成之后的推理过程是渲染过程。

模型输入和输出

  • 直观理解的网络

  • 实际实现的细节

  • 输入(理解层面是相机位姿,实际是采样点的位置和观测角度):5D的相机位姿信息 ( x , y , z , θ , ϕ ) (x, y, z, \theta, \phi) (x,y,z,θ,ϕ),其中包括了相机的三维位置以及角度(包括俯仰角和方位角)。但是在实际代码实现过程中使用两个(x, y, z)来代替5D的位姿信息,并且使用了位置编码(用于增强)的方式来编码6D坐标,最后得到63维+27维的输入。并且作者认为采样点不透明度与观测角度无关,只与采样点位置有关,所以采用了分开输入的方式,只使用相机坐标63维来预测不透明度,并在随后的层中cat进代表相机方向的坐标27维。

  • 输出:NeRF采用体积雾的渲染方式,NeRF模型的直接输出为采样点的颜色RGB以及不透明度信息,通过后处理(体积渲染进行积分,后面会提到)的方式得到最终渲染好的图像。

  • NeRF模型直接输出的含义:一段采样点上的RGBA值,在射线方向上进行积分得到最终一个像素点颜色值(体积雾渲染)。

  • 位置编码(增强高频信息):对于位置xyz坐标(对于两个不同的位置坐标都采用了位置编码,但是所使用的项数不同,相机位置使用10,而相机方向的坐标使用4),文章采用了位置编码的方式,具体而言,对于每个维度,使用cos和sin来编码,并且对于每个cos和sin,都是用了十项,所以输入维度变成 3 + ( 10 + 10 ) ∗ 3 = 63 3+(10+10)*3=63 3+(10+10)∗3=63

  • 训练资料:一个像素+一个相机位姿,而不是一张图+一个相机位姿。一个batch包含很多不同位置像素+位姿。

  • 体积渲染:其中特定的积分方式考虑了遮挡问题(主要考虑第一个波峰的贡献)。采样点个数也是一个超参数。

  • 分层采样

NeRF-Pytorch代码

参考

相关推荐
千码君201617 小时前
React Native:从react的解构看编程众多语言中的解构
java·javascript·python·react native·react.js·解包·解构
淮北49417 小时前
windows安装minicoda
windows·python·conda
Akamai中国17 小时前
Linebreak赋能实时化企业转型:专业系统集成商携手Akamai以实时智能革新企业运营
人工智能·云计算·云服务
LiJieNiub18 小时前
读懂目标检测:从基础概念到主流算法
人工智能·计算机视觉·目标跟踪
weixin_5195357719 小时前
从ChatGPT到新质生产力:一份数据驱动的AI研究方向指南
人工智能·深度学习·机器学习·ai·chatgpt·数据分析·aigc
爱喝白开水a19 小时前
LangChain 基础系列之 Prompt 工程详解:从设计原理到实战模板_langchain prompt
开发语言·数据库·人工智能·python·langchain·prompt·知识图谱
takashi_void19 小时前
如何在本地部署大语言模型(Windows,Mac,Linux)三系统教程
linux·人工智能·windows·macos·语言模型·nlp
OpenCSG19 小时前
【活动预告】2025斗拱开发者大会,共探支付与AI未来
人工智能·ai·开源·大模型·支付安全
生命是有光的19 小时前
【深度学习】神经网络基础
人工智能·深度学习·神经网络
数字供应链安全产品选型19 小时前
国家级!悬镜安全入选两项“网络安全国家标准应用实践案例”
人工智能·安全·web安全