K-Planes代码记录

随记

原文 K-Planes: Explicit Radiance Fields in Space, Time, and Appearance,又要换baseline,可是效果不好能怎么办呢,我可不可以发疯。k-planes的代码又是非常工程琐碎的,大佬的代码果然不顾小白死活。随便记录下整个过程。

代码记录

main.py

主要用于:加载config文件,data,初始化等

复制代码
loda_data() # 加载数据
init_trainer()	# 初始化模型(包括k-planes loss function等各种)
load_model()

type有几个参数可选,其中phototourism等价于NeRF-Wvideo相当于动态场景 ,其他是静态 ;从line 70进入各种初始化步骤。

所有参数都初始化完毕后,开始训练

复制代码
line 160      trainer.train()

base_train.py

一系列参数的初始化

还有损失函数的计算和优化

lowran_model.py

经过一系列跳转,在这个文件下进行KPlaneField,KPlaneDensityField,ProposalNetworkSampler等一系列采样和plane的生成和初始化操作,还有forward()函数,插值,query_rgb query_density。这里我只关心k-plane生成

kplane_field.py

  1. 生成并初始化K-planes

最后生成以下k-planes:

  1. Init appearance code-related parameters等价于NeRF-W(略)

  2. Init decoder params: 对方向进行编码

  3. 初始化decoder

这里有两种选择,使用论文中的线性解码器还是MLP,直接看else line189-217

video_trainer.py

其他的初始化都没那么重要,第二重要的loss,k-plane添加了很多正则化的loss,就在这个函数里进行初始化

需要注意的点

  1. pytorch提供的插值函数需要将x归一化的[-1,1]之间
  2. 损失函数的计算

记录一下求ray还是什么的区别,暂时没有很重要。不过原文里的这部分好像被删掉了,这里是在B站up那里截的图。

相关推荐
晚霞apple3 小时前
Graph + Agents 融合架构:2025年七大创新路径
论文阅读·人工智能·深度学习·神经网络·机器学习
浣熊-论文指导3 小时前
人工智能与生物医药融合六大创新思路
论文阅读·人工智能·深度学习·计算机网络·机器学习
晚霞apple5 小时前
三维重建技术的未来创新方向
论文阅读·人工智能·深度学习·神经网络·机器学习
大象耶9 小时前
自然语言处理前沿创新方向与技术路径
论文阅读·人工智能·深度学习·计算机网络·机器学习
何如千泷1 天前
【论文阅读】Qwen2.5-VL Technical Report
论文阅读·大模型·多模态·1024程序员节
大象耶1 天前
计算机视觉六大前沿创新方向
论文阅读·人工智能·深度学习·计算机网络·机器学习
墨绿色的摆渡人1 天前
论文笔记(九十六)VGGT: Visual Geometry Grounded Transformer
论文阅读
DuHz2 天前
基于MIMO FMCW雷达的二维角度分析多径抑制技术——论文阅读
论文阅读·物联网·算法·信息与通信·毫米波雷达
CV-杨帆2 天前
论文阅读:ICML 2025 Adversarial Reasoning at Jailbreaking Time
论文阅读
_AaRong_2 天前
《Hiding Images in Diffusion Models by Editing Learned Score Functions》 论文阅读
论文阅读·人工智能·计算机视觉