GEDepth:Ground Embedding for Monocular Depth Estimation

参考代码:gedepth

出发点与动机

相机的外参告诉了相机在世界坐标系下的位置信息,那么可以用这个外参构建一个地面基础深度作为先验 ,后续只需要在这个地面基础深度先验基础上添加offset就可以得到结果深度,这样可以极大简化深度估计网络学习的难度,自然深度估计的性能就上去了。先不说这个深度估计的实际效果如何,但是这个将复杂的问题简单化的思路是可以借鉴的。但是这个鲁棒性如何就需要打问号了,BEV感知中外参的变化带来的问题依然很头疼。

方法设计

文章的核心内容部分在左上部分,也就是如何去构建地面基础深度,文中给出了两种地面深度生成的方法:内外参映射、地面坡度加内外参,自然第二种的精度更高。这个基础深度再同你过一个学习到的加权参数 M a t t e n M_{atten} Matten去调和基础深度和网络本身预测的深度

单纯由内外参估计地面深度

这个借助内外参可以在平直路面实现基础地面深度估计,什么路面坡度、障碍物什么的都不考虑,单纯计算地面的深度。其计算出来的效果如下

借助地面坡度预测细化地面基础深度

单纯依靠内外参得到的地面基础深度是相当粗糙的,完全不能用,那么可以借用下图定义的路面坡度 α \alpha α来细化路面的实际情况,这个坡度的计算自然也需要预先通过真值计算得到,相当于是对真值在不同的维度做了监督

实验结果

KITTI上的性能比较:

DDAD数据集:

相关推荐
咖啡星人k5 小时前
2026 多模态大模型:AI 如何“看图+读字+听音“三合一,MonkeyCode 免费上手
人工智能·深度学习·神经网络·计算机视觉·自然语言处理
向哆哆9 小时前
中草药检测数据集分享(适用于目标检测任务已标注+划分)
人工智能·目标检测·计算机视觉
qq_252941316810 小时前
低空飞行物目标检测数据集 | 低空飞行物 鸟类检测 反无人机 航空安全 目标检测 YOLO格式9017期
人工智能·yolo·目标检测·计算机视觉·无人机·低空飞行物
YOLO数据集集合11 小时前
钢材表面缺陷目标检测数据集 | 钢材缺陷检测 表面质检 工业视觉 目标检测9009期
人工智能·目标检测·计算机视觉·目标跟踪·无人机·钢材数据集·钢材表面缺陷
就是一顿骚操作11 小时前
SSD:单阶段多尺度目标检测的经典解读
人工智能·深度学习·目标检测·计算机视觉·论文解读
格林威11 小时前
C#高位深相机图像保存:12位16位图像保存方案,OpenCvSharp和Halcon实现
开发语言·人工智能·数码相机·计算机视觉·c#·视觉检测·工业相机
zx_7414848111 小时前
【计算机视觉入门】两大 OpenCV 案例:答题卡判分与图像全景拼接
人工智能·opencv·计算机视觉
AI的探索之旅12 小时前
97 个 OpenCV 实例(九):形态学操作,腐蚀膨胀与开闭运算
人工智能·opencv·计算机视觉
pjj1985412 小时前
opencv-基于 SIFT 特征和 FLANN 匹配器的图像特征点匹配与可视化
人工智能·opencv·计算机视觉
硅谷秋水12 小时前
ImageWAM:世界-动作模型真的需要视频生成,还是只需要图像编辑?
人工智能·深度学习·计算机视觉·语言模型·机器人·音视频