GEDepth:Ground Embedding for Monocular Depth Estimation

参考代码:gedepth

出发点与动机

相机的外参告诉了相机在世界坐标系下的位置信息,那么可以用这个外参构建一个地面基础深度作为先验 ,后续只需要在这个地面基础深度先验基础上添加offset就可以得到结果深度,这样可以极大简化深度估计网络学习的难度,自然深度估计的性能就上去了。先不说这个深度估计的实际效果如何,但是这个将复杂的问题简单化的思路是可以借鉴的。但是这个鲁棒性如何就需要打问号了,BEV感知中外参的变化带来的问题依然很头疼。

方法设计

文章的核心内容部分在左上部分,也就是如何去构建地面基础深度,文中给出了两种地面深度生成的方法:内外参映射、地面坡度加内外参,自然第二种的精度更高。这个基础深度再同你过一个学习到的加权参数 M a t t e n M_{atten} Matten去调和基础深度和网络本身预测的深度

单纯由内外参估计地面深度

这个借助内外参可以在平直路面实现基础地面深度估计,什么路面坡度、障碍物什么的都不考虑,单纯计算地面的深度。其计算出来的效果如下

借助地面坡度预测细化地面基础深度

单纯依靠内外参得到的地面基础深度是相当粗糙的,完全不能用,那么可以借用下图定义的路面坡度 α \alpha α来细化路面的实际情况,这个坡度的计算自然也需要预先通过真值计算得到,相当于是对真值在不同的维度做了监督

实验结果

KITTI上的性能比较:

DDAD数据集:

相关推荐
格林威7 小时前
AI视觉检测:Jetson Orin vs RTX A2000 推理速度对比
人工智能·数码相机·机器学习·计算机视觉·视觉检测·机器视觉·工业相机
helloworddm8 小时前
Vulkan GPU图像处理之对数变换:Kompute框架实战与性能分析
图像处理·人工智能·计算机视觉
开开心心就好10 小时前
系统重装前必备的智能驱动备份工具
windows·计算机视觉·计算机外设·excel·模块测试·csdn开发云·威胁分析
探物 AI11 小时前
零样本、免训练!SAM-Body4D 来了:实现视频级 4D 人体网格重建,复杂遮挡也能稳如泰山
人工智能·计算机视觉
Ai173163915791 天前
GB200 NVL72超节点深度解析:架构、生态与产业格局
大数据·服务器·人工智能·神经网络·机器学习·计算机视觉·架构
gorgeous(๑>؂<๑)1 天前
【CVPR26-陶大程-南洋理工】启发式推理先验助力数据高效型指代目标检测
人工智能·目标检测·计算机视觉
youcans_1 天前
【HALCON 实战入门】4. 图像读取、显示与保存
图像处理·人工智能·计算机视觉·halcon
ComputerInBook1 天前
OpenCV图像处理——图像缩放函数 resize
图像处理·opencv·计算机视觉
王莎莎-MinerU1 天前
MinerU 生态全景:Skills、RAG、MCP、Cursor Rules
人工智能·深度学习·计算机视觉·chatgpt·pdf·软件工程
3DVisionary1 天前
升维洞察:DIC全场视觉检测如何重塑力学测试的“时空秩序”
人工智能·计算机视觉·视觉检测·动态测量·dic技术·xtdic·结构疲劳演化