RoadBEV:鸟瞰图中的道路表面重建

1. 代码地址

GitHub - ztsrxh/RoadBEV: Codes for RoadBEV: road surface reconstruction in Bird's Eye View

2. 摘要

本文介绍了RoadBEV:鸟瞰图中的道路表面重建。道路表面条件(特别是几何形状)极大地影响了自动驾驶汽车的驾驶性能。基于视觉的在线道路重建有望提前获取道路信息。现有的解决方案(例如单目深度估计和双目匹配)性能较差。最新的鸟瞰图(BEV)感知为更可靠、更精确的重建提供了巨大的潜力。本文统一地提出了两种简单而有效的BEV道路高程重建模型,称为RoadBEV-mono和RoadBEV-stereo,其分别使用单目和双目图像来估计道路高程。前者基于从图像中查询的体素特征直接拟合高程值,而后者基于表示左右体素特征之间差异的BEV体积来有效识别道路高程模式。精辟的分析证明了它们与透视图的一致性和差异性。在现实世界数据集上的实验验证了模型的有效性和卓越性。RoadBEV-mono和RoadBEV-stereo的高程误差分别达到1.83cm和0.56cm。在基于单目图像的BEV中,估计性能提高了50%。本文所提出的模型具有良好的实际应用前景,为自动驾驶中基于视觉的BEV感知提供了有价值的参考。

3. 主要贡献

本文的贡献总结如下:

  • 本文首次通过分析和实验证明了在BEV中实现道路表面重建的必要性和优越性;
  • 对于基于单目和双目的方案,本文相应地提出了两个模型,称为RoadBEV-mono和RoadBEV-stereo,并且详细地解释了它们的机制;
  • 本文全面测试和分析了所提出模型的性能,为未来研究提供了有价值的见解和前景。

4. 数据集与预处理

5. 方法

5.1. 特征体素与高度回归

5.2. RoadBEV-mono

5.3. RoadBEV-stereo

5.4. 损失函数

6. 实验

6.1. 实验细节

6.2. 性能与对比

6.3. 路面重建可视化

6.4. RoadBEV-mono消融实验

6.5. RoadBEV-stereo消融实验

7. 总结

本文首次在鸟瞰图中重建道路表面高程,分别提出并且分析了基于单目和双目图像的RoadBEV-mono和RoadBEV-stereo。本文揭示了BEV中单目估计和双目匹配与透视图中的机制相同,但是可以通过缩小搜索范围和直接在高程方向上挖掘特征来改进。在现实世界数据集上进行的全面实验验证了所提出的BEV体积、估计头和参数设置的可行性和优越性。对于单目相机,BEV的重建性能比透视图的重建性能提高了50%。同时,在BEV中,使用双目相机的性能是使用单目相机的三倍。本文提供了有关模型的深入分析,其开创性的探索也为BEV感知、3D重建和3D检测的进一步研究和应用提供了有价值的参考。

参考文献

RoadBEV: Road Surface Reconstruction in Bird's Eye View

https://zhuanlan.zhihu.com/p/692651589

相关推荐
陈纬度啊1 小时前
自动驾驶ROS2应用技术详解
人工智能·自动驾驶·unix
我爱一条柴ya6 小时前
【AI大模型】神经网络反向传播:核心原理与完整实现
人工智能·深度学习·神经网络·ai·ai编程
慕婉03076 小时前
深度学习概述
人工智能·深度学习
19896 小时前
【零基础学AI】第30讲:生成对抗网络(GAN)实战 - 手写数字生成
人工智能·python·深度学习·神经网络·机器学习·生成对抗网络·近邻算法
神经星星6 小时前
新加坡国立大学基于多维度EHR数据实现细粒度患者队列建模,住院时间预测准确率提升16.3%
人工智能·深度学习·机器学习
TY-20256 小时前
深度学习——神经网络1
人工智能·深度学习·神经网络
cver1238 小时前
CSGO 训练数据集介绍-2,427 张图片 AI 游戏助手 游戏数据分析
人工智能·深度学习·yolo·目标检测·游戏·计算机视觉
FreeBuf_8 小时前
新型BERT勒索软件肆虐:多线程攻击同时针对Windows、Linux及ESXi系统
人工智能·深度学习·bert
强哥之神8 小时前
Meta AI 推出 Multi - SpatialMLLM:借助多模态大语言模型实现多帧空间理解
人工智能·深度学习·计算机视觉·语言模型·自然语言处理·llama
地平线开发者10 小时前
征程 6|工具链量化简介与代码实操
算法·自动驾驶