读Shape-Guided代码③训练

关于训练,是先把pretrain也做成npz

bash 复制代码
                            BS: 32
                            LR: 0.0001
                     POINT_NUM: 500
                     ckpt_path: ./checkpoint_debug/2024-03-11-16-38-30-knn500
                       classes: ['*']
                 datasets_path: None
              dict_n_component: 3
                         epoch: 1000
                     grid_path: data_new/
                     group_mul: 5
                    image_size: 224
                      k_number: 1
                   method_name: None
                    output_dir: None
                    rgb_method: Dict
                  sampled_size: 20
                           viz: False

这个训练batch还必须满足batch_size,如果不满足直接跳过

于是每epoch的每个batch,有points和samples,二者都是32,500,3

输入point作为gt,sample作为inputs_points

python 复制代码
SDF_Model(
  (encoder): encoder_BN(
    (conv1): Conv1d(3, 64, kernel_size=(1,), stride=(1,))
    (conv2): Conv1d(64, 128, kernel_size=(1,), stride=(1,))
    (conv3): Conv1d(128, 1024, kernel_size=(1,), stride=(1,))
    (fc1): Linear(in_features=1024, out_features=512, bias=True)
    (fc2): Linear(in_features=512, out_features=128, bias=True)
    (relu): ReLU()
    (bn1): BatchNorm1d(64, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
    (bn2): BatchNorm1d(128, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
    (bn3): BatchNorm1d(1024, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
    (bn4): BatchNorm1d(512, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
    (bn5): BatchNorm1d(128, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
  )
  把gt经过encoder得到32,128的feature
  再把它tile成32,500,128 point_feature
  然后point_feature和inputs_points被输入给NIL的get_gradient
  (NIF): local_NIF(
    (fc1): Linear(in_features=128, out_features=512, bias=True)
    (fc2): Linear(in_features=3, out_features=512, bias=True)
    (fc3): Linear(in_features=1024, out_features=512, bias=True)
    (fc40): Linear(in_features=512, out_features=512, bias=True)
    (fc41): Linear(in_features=512, out_features=512, bias=True)
    (fc42): Linear(in_features=512, out_features=512, bias=True)
    (fc43): Linear(in_features=512, out_features=512, bias=True)
    (fc44): Linear(in_features=512, out_features=512, bias=True)
    (fc45): Linear(in_features=512, out_features=512, bias=True)
    (fc46): Linear(in_features=512, out_features=512, bias=True)
    (fc5): Linear(in_features=512, out_features=1, bias=True)
  )
)

get_gradient方法在local_NIF类中用于计算输入点相对于输出SDF(有符号距离字段)值的梯度,并使用这个梯度来更新点的位置。下面是数据流向和处理步骤的详细分析:

输入梯度设置:input_points.requires_grad_(True)确保input_points可以计算梯度。这是为了使得在SDF输出值forward方法中关于input_points的梯度能够被计算。

前向传播:使用forward方法计算SDF值(32,500,1)。这个方法先通过两个独立的全连接层处理points_feature和input_points,然后将这两个特征合并,并通过一系列额外的全连接层进一步处理。

计算梯度(一个32,500,3组成的tuple):torch.autograd.grad用于计算SDF输出相对于input_points的梯度。这里使用torch.ones_like(sdf)作为梯度的权重,因为我们对SDF本身的梯度感兴趣,而不是对它的某个函数的梯度。

梯度归一化:计算梯度的模长normal_p_length,并用它来归一化梯度,得到单位向量grad_norm。这一步确保了梯度向量在每个方向上具有相同的长度,这在计算新的点位置时是有用的。pytorch_safe_norm函数用于计算向量的模长,避免除零错误,通过在求和后添加一个很小的数(epsilon)来实现。

计算更新的点位置:使用梯度信息更新input_points的位置。g_point = input_points - sdf * grad_norm根据梯度方向和大小调整每个点的位置,这里sdf * grad_norm计算每个点沿梯度方向的位移,然后从原始位置减去这个位移得到新的位置(32,500,3这也就是网络的最终输出了)。

整体来看,get_gradient方法通过计算SDF相对于输入点的梯度,并使用这个梯度来更新点的位置,这在许多应用中是有用的,例如形状优化、网格重构等。

计算g_point和points的l2范数作为损失

相关推荐
feasibility.4 天前
英伟达把物理AI的3D模型“应用商店”开放了:2575个SimReady仿真资产,总计约472GB,可让agent装配机器人训练场景
人工智能·3d·机器人·仿真·建模·具身智能·英伟达
Solange__6 天前
Blender 3D模型优化:普通复制、共享网格、实例、合并怎么选?
人工智能·3d·ai·自然语言处理·编辑器·blender·材质
Martina_03217 天前
AI生成的3D白模单帧没问题,镜头一移动就被挡?用6步检查遮挡与构图
图像处理·人工智能·数学建模·3d·ai·自然语言处理·游戏策划
时间的情敌10 天前
Cesium 建筑单体化、3DTiles 分类、楼层显隐、分户高亮(BIM + 倾斜孪生高频)
前端·3d·cesium
加搜科技观察11 天前
哪个品牌 3D 相机好用?工业 3D 相机品牌选型评估指南
数码相机·3d
Martina_032112 天前
AI生成3D场景的霓虹灯一开就糊成光团?用6步检查Emissive、Bloom与曝光
人工智能·3d·ai·自然语言处理·游戏引擎·材质·贴图
Martina_032113 天前
AI生成3D场景从白模换成精模后镜头全偏了?用6步检查单位、枢轴与层级替换
图像处理·人工智能·3d·ai·自然语言处理·材质·1024程序员节
时间的情敌14 天前
Cesium 加载 3D Tiles 倾斜摄影、压平、样式设置(Vue3 实战)
vue.js·3d·cesium
AGI_Eval15 天前
AI 3D生成技术:从“可用”走向“可靠”还有多远?
人工智能·3d