LingBot-Depth：一种高精度的空间感知模型
【LingBot-Depth】Masked Depth Modeling for Spatial Perception
概述
本文介绍了一种名为LingBot-Depth的空间感知模型，由蚂蚁集团旗下的具身智能公司灵波科技开发并开源。该模型采用掩码深度建模和大规模RGB-D预训练数据的方式，在不更换硬件的前提下显著提高了透明、反光等复杂材质场景的深度输出质量，从而为机器人提供了更清晰的空间感知能力。
技术原理
LingBot-Depth的核心创新在于提出了"掩码深度建模"范式以及可扩展的真实深度数据数采范式。具体来说，该模型不把深度相机的缺失数据当做噪声，而是将其视为反映场景几何模糊性的"自然掩码"。通过对RGB和深度的跨模态联合学习，该模型可以学会利用视觉上下文来补全空间信息。
为了实现这一点，LingBot-Depth提供了千万级别的大规模RGB-D预训练数据，并设计了一套可供参考的合成数据和真实数据收集流程。此外，该模型采用了encoder--decoder框架下的掩码图像建模通用范式，但也对其进行了一些改进，以便更好地适应不同的应用场景。
应用价值
LingBot-Depth的应用价值主要体现在以下几个方面：
深度补全
LingBot-Depth可以在iBims、NYUv2等数据集中超越OMNI-DC、PromptDA等主流方案，在极短时间内实现高精度的深度补全。此外，在一些特殊情况下，例如透明或反光表面的情况下，该模型的表现也非常出色。
单目深度估计算法
除了深度补全之外，LingBot-Depth还可以利用RGB图像来输出高精度的深度图。在多个数据集中，该模型都超过了基于DINOv2预训练的基座模型的效果。
立体匹配算法
最后，LingBot-Depth还可以作为一种有效的立体匹配算法增强工具。相较于传统的 stereo vision 方法，该模型可以在更短的时间内完成立体匹配任务。
结论
综上所述，LingBot-Depth是一种非常有前景的空间感知技术，可以帮助机器人在各种复杂环境下更加高效地执行各种任务。虽然该技术还有许多可以改进的地方，但它已经取得了一些令人瞩目的成果，并有望在未来得到更广泛的应用和发展。