自动驾驶之BEV概述

1、为什么需要BEV?

自动驾驶需要目标在3D空间的位置信息,传统检测为2D图像上检测目标然后IPM投影到3D。所以无论如何3D结果才是我们最终想要的。

对于单个传感器:通过单目3D、深度估计等手段好像能解决这个问题,但是往往精度不高。

对于自动驾驶,往往需要360度的多个摄像头协同工作。将多个摄像头的结果进行融合也是一大问题。所以把图象特征转到BEV空间下直接进行3D位置预测,一则可以解决2D到3D的投影问题,二则预测结果可以直接用于下游的决策,省去多个传感器的融合。

2、什么是BEV的核心?

我们知道3D空间投影2D图象是一对一的,而2D图象投影3D空间则是一对多的射线上。所以如何把多个图象的2D特征表达到对应3D的BEV空间特征,进行视图转换 ,则是BEV的核心工作。

当前主要有代表性的两种方法:

1、基于深度分布估计的:代表方法为BEVDet

2、基于交叉注意力的:代表方法为BEVFormer

在BEV的基础上,往往加入时序融合多任务学习多模态监督等手段,由此发展出各种BEV的变形。

3、BEV特点

输入:来自不同角度相机的多张图像,覆盖360°视野范围。

输出:BEV视图下的各种感知结果,比如物体,道路,车道线,语义栅格等。

算法:图像到BEV视图转换,包括稠密和稀疏两种方式。

稠密有BEVDet和BEVFormer。有的方法则是针对具体的任务,比如3D物体检测,直接生成稀疏的BEV视图下的感知结果,比如DETR3D和PETR

4、测试数据集

对于BEV感知来说,目前比较常用的数据集是nuScenes。

nuScenes数据库发布了多个测试任务,包括物体检测跟踪 ,运动轨迹预测点云全景分割 以及路径规划

3D目标检测任务的性能指标主要有两个:mAPNDS

mAP (mean Average Precision)是目标检测中常用的性能指标,它对Precision-Recall(P-R)曲线进行采样,计算每个类别出平均的Precision。在计算P-R曲线时,需要匹配算法预测的物体框和标注的真值物体框。nuScenes中采用BEV视图下物体框的2D中心点距离来进行匹配,而不是传统的Intersection-of-Union(IoU),这样可以提高小物体的匹配率。

NDS(nuScenes Detection Score)在mAP的基础上,增加了物体框预测质量的指标。这些指标包括物体框的位置,大小,朝向,速度以及其它属性。与mAP相比,NDS可以更全面的评价3D目标检测算法的优劣。

对于BEV的发展历程,以及各种BEV的方法介绍,参考以下综述:BEV感知综述

相关推荐
boooo_hhh9 分钟前
深度学习笔记16-VGG-16算法-Pytorch实现人脸识别
pytorch·深度学习·机器学习
AnnyYoung13 分钟前
华为云deepseek大模型平台:deepseek满血版
人工智能·ai·华为云
INDEMIND1 小时前
INDEMIND:AI视觉赋能服务机器人,“零”碰撞避障技术实现全天候安全
人工智能·视觉导航·服务机器人·商用机器人
慕容木木1 小时前
【全网最全教程】使用最强DeepSeekR1+联网的火山引擎,没有生成长度限制,DeepSeek本体的替代品,可本地部署+知识库,注册即可有750w的token使用
人工智能·火山引擎·deepseek·deepseek r1
南 阳1 小时前
百度搜索全面接入DeepSeek-R1满血版:AI与搜索的全新融合
人工智能·chatgpt
企鹅侠客1 小时前
开源免费文档翻译工具 可支持pdf、word、excel、ppt
人工智能·pdf·word·excel·自动翻译
冰淇淋百宝箱2 小时前
AI 安全时代:SDL与大模型结合的“王炸组合”——技术落地与实战指南
人工智能·安全
Elastic 中国社区官方博客2 小时前
Elasticsearch Open Inference API 增加了对 Jina AI 嵌入和 Rerank 模型的支持
大数据·人工智能·elasticsearch·搜索引擎·ai·全文检索·jina
AWS官方合作商3 小时前
Amazon Lex:AI对话引擎重构企业服务新范式
人工智能·ai·机器人·aws
workflower3 小时前
Prompt Engineering的重要性
大数据·人工智能·设计模式·prompt·软件工程·需求分析·ai编程