nsfp-

该方法基于MLP,输入3D点,输出正则化的场景流。

优化目标

通过优化场景流f,来最小化两个点云S1和S2之间的距离。为了防止场景流出现过大的变动或不合理的结果,我们需要引入一个正则化项C,用来约束运动场,使其更加合理和稳定。

神经网络作为隐式正则化器:

不依赖于任何训练数据,仅通过神经网络本身的结构,来约束场景流:

其中g是一个参数化为Θ的神经网络,用于正则化场景流f。g的输入为p, p是被流扰动的点。g的输出是f,D是距离函数,用的是倒角距离。

倒角距离是用于评估两组点之间的相似度的度量。给定两个点集 A 和 B,倒角距离定义为 A 中每个点到 B 中最近邻点的距离之和,加上 B 中每个点到 A 中最近邻点的距离之和。

优点

不需要人工GT

不依赖于大规模训练数据

无需预训练,直接针对输入点云优化网络参数。

1 、问题假设:

给定两帧无对应关系的点云,NSFP 旨在估计一个连续的场景流场 ,使得变形后的点云 对齐。为实现这一目标,NSFP 采用一个轻量级多层感知机,其输入为点坐标 ,输出为对应的三维运动向量。优化过程通过最小化双向 Chamfer 距离完成:

其中表示经过估计的场景流变形后的点,对应的点云为为反向流估计网络的参数。

基于运行时优化的深度学习方法主要通过构建能量函数并进行优化求解来实现点云累积。这些方法的核心在于利用优化算法在运行时动态调整模型参数,以适应输入数据的特性,从而实现更高效、更准确的点云累积。

Li[39]等人提出了神经场景流先验(Neural Scene Flow Prior,NSFP),这是一种创新的方法,利用神经网络架构作为隐式正则化器,通过运行时优化来估计场景流,而无需依赖离线数据集。该方法基于多层感知器(Multilayer Perceptron,MLP)架构,输入为3D点,输出为正则化的场景流。通过这种方式,NSFP能够实现连续的场景流表示,从而在点云序列中估计密集的长期对应关系。这一特性使得NSFP在场景流基准测试中取得了与监督学习、自监督学习和非学习方法相当甚至更好的结果。其连续的场景流表示允许在时间上更好地整合运动信息,适用于自动驾驶等新环境,而无需大规模标注数据。这种方法为点云累积提供了一种新的思路,展示了优化算法在减少对大规模标注数据依赖方面的潜力。

尽管这些基于运行时优化的深度学习方法在两帧上的效果较好,但在直接应用于点云累积任务时,仍面临一些挑战。例如,如何扩展到多帧条件,尤其是长序列帧的处理,仍然是一个亟待解决的问题。长序列帧的处理需要考虑时间连续性、计算效率和累积精度等多个因素,这对现有的优化算法提出了更高的要求。