gaussian grouping训练自定义数据集

gaussian grouping是一个语义分割3DGS的方法。

它在每个3DGS点云中加入一个叫Identity Encoding的特征向量,

在渲染时把特征向量渲染到2D图像,每个像素位置为一个特征向量,使用额外的线性分类层对每个2D位置的特征向量分类。得到mask。

这个mask和gt mask计算2D损失,同时3D正则化损失利用3D空间一致性,强制执行Identity Encoding在特征距离上接近其最近的3D高斯点。

训练Identity Encoding和线性分类层。

如果训练时有比较完美的mask, 渲染的效果也是很好的。

下面以mip360/kitchen为例训练gaussian grouping. 其他数据集类似。

假设初步只有一些拍摄的图像。放在input文件夹。

用3DGS的convert.py文件处理mip360/kitchen之后,

可得到images和相关下采样图像文件夹,sparse文件夹。

kitchen数据集自带标注好的mask, 如果没有,需要自己标注mask(可以用prepare_pseudo_label.sh),

mask放在kitchen/object_mask文件夹下,格式为png.

train.json设置:

假设mask里面只有2类物体,即前景和背景,前景的像素值取的是255, 背景是0,

那么,在gaussian-grouping/config/gaussian_dataset/train.json中,

"num_classes"要写256.

你会纳闷,为什么只有2类却要写256类?

因为你的前景像素值取的是255,从数字上看,它是第255个类别,想输出类别255,分类器中就要有>=255个类别。如果前景像素值取1,那么"num_classes"可以写2。

类别写小了会报错cuda非法内存访问。

当cuda内存有限时,可以设置较小的"reg3d_max_points"和"reg3d_sample_size"。

train.py

数据集图片过大时可能需要resize,用到images_2, images_4文件夹,

而假设你标注的mask只有一个尺寸。

那么训练的时候就需要把mask调整到和渲染mask一个尺寸。

python 复制代码
logits = classifier(objects)
# Object Loss
if len(viewpoint_cam.objects.shape) > 2:
    gt_obj = viewpoint_cam.objects[:,:,0]  #mask是单通道时不需要这步
    gt_obj_reshaped = gt_obj.unsqueeze(0).unsqueeze(0)
    gt_obj_resized = F.interpolate(gt_obj_reshaped,
                                   size=(logits.shape[1], logits.shape[2]),
                                   mode='nearest')
    gt_obj_resized = gt_obj_resized.squeeze(0).squeeze(0)
    gt_obj = gt_obj_resized.cuda().long()
else:
    gt_obj = viewpoint_cam.objects.cuda().long()

训练很简单,

bash 复制代码
train.py -s data/mip360/kitchen -r 2  -m output/kitchen --config_file config/gaussian_dataset/train.json

渲染时,num_classes要和前面一致:

bash 复制代码
render.py -m output/kitchen --num_classes 256

会在output/kitchen中得到mask等结果。

相关推荐
说私域3 分钟前
开源链动2+1模式、AI智能名片与S2B2C商城小程序:社群经济的数字化重构路径
人工智能·小程序·开源
lingchen19064 分钟前
卷积神经网络中的卷积运算原理
深度学习·计算机视觉·cnn
rengang666 分钟前
智能化的重构建议:大模型分析代码结构,提出可读性和性能优化建议
人工智能·性能优化·重构·ai编程
灵遁者书籍作品15 分钟前
语言的拓扑学约束公理:语言对实在的描述具有拓扑不变量——某些真理必须通过悖论、沉默或隐喻表达
人工智能·计算机视觉
一尘之中16 分钟前
觉醒的拓扑学:在量子纠缠与神经幻象中重构现实认知
人工智能·重构
金宗汉16 分钟前
《宇宙递归拓扑学:基于自指性与拓扑流形的无限逼近模型》
大数据·人工智能·笔记·算法·观察者模式
Joy T41 分钟前
海南蓝碳:生态财富与科技驱动的新未来
大数据·人工智能·红树林·海南省·生态区建设
N0nename1 小时前
TR3--Transformer之pytorch复现
人工智能·pytorch·python
北京耐用通信1 小时前
电力自动化新突破:Modbus如何变身Profinet?智能仪表连接的终极解决方案
人工智能·物联网·网络安全·自动化·信息与通信
MYX_3092 小时前
第七章 完整的模型训练
pytorch·python·深度学习·学习