K-Planes代码记录

随记

原文 K-Planes: Explicit Radiance Fields in Space, Time, and Appearance,又要换baseline,可是效果不好能怎么办呢,我可不可以发疯。k-planes的代码又是非常工程琐碎的,大佬的代码果然不顾小白死活。随便记录下整个过程。

代码记录

main.py

主要用于:加载config文件,data,初始化等

复制代码
loda_data() # 加载数据
init_trainer()	# 初始化模型(包括k-planes loss function等各种)
load_model()

type有几个参数可选,其中phototourism等价于NeRF-Wvideo相当于动态场景 ,其他是静态 ;从line 70进入各种初始化步骤。

所有参数都初始化完毕后,开始训练

复制代码
line 160      trainer.train()

base_train.py

一系列参数的初始化

还有损失函数的计算和优化

lowran_model.py

经过一系列跳转,在这个文件下进行KPlaneField,KPlaneDensityField,ProposalNetworkSampler等一系列采样和plane的生成和初始化操作,还有forward()函数,插值,query_rgb query_density。这里我只关心k-plane生成

kplane_field.py

  1. 生成并初始化K-planes

最后生成以下k-planes:

  1. Init appearance code-related parameters等价于NeRF-W(略)

  2. Init decoder params: 对方向进行编码

  3. 初始化decoder

这里有两种选择,使用论文中的线性解码器还是MLP,直接看else line189-217

video_trainer.py

其他的初始化都没那么重要,第二重要的loss,k-plane添加了很多正则化的loss,就在这个函数里进行初始化

需要注意的点

  1. pytorch提供的插值函数需要将x归一化的[-1,1]之间
  2. 损失函数的计算

记录一下求ray还是什么的区别,暂时没有很重要。不过原文里的这部分好像被删掉了,这里是在B站up那里截的图。

相关推荐
Chandler_Song15 小时前
【读书笔记】《有限与无限的游戏》
论文阅读
无妄无望19 小时前
目标计数论文阅读(2)Learning To Count Everything
论文阅读·everything
七元权19 小时前
论文阅读-Correlate and Excite
论文阅读·深度学习·注意力机制·双目深度估计
李加号pluuuus19 小时前
【论文阅读】Language-Guided Image Tokenization for Generation
论文阅读
ZHANG8023ZHEN19 小时前
fMoE论文阅读笔记
论文阅读·笔记
张较瘦_19 小时前
[论文阅读] 人工智能 + 软件工程 | 大语言模型驱动的多来源漏洞影响库识别研究解析
论文阅读·人工智能·语言模型
有Li1 天前
基于联邦学习与神经架构搜索的可泛化重建:用于加速磁共振成像|文献速递-最新医学人工智能文献
论文阅读·人工智能·文献·医学生
川川子溢2 天前
【论文阅读】MEDDINOV3:如何调整视觉基础模型用于医学图像分割?
论文阅读
Xy-unu2 天前
[VL|RIS] RSRefSeg 2
论文阅读·人工智能·transformer·论文笔记·分割
张较瘦_2 天前
[论文阅读] 告别“数量为王”:双轨道会议模型+LS,破解AI时代学术交流困局
论文阅读·人工智能