单摄像头、双目摄像头、多视图系统:了解自动驾驶汽车的传感器

1.鱼眼摄像机

其他摄像机的位置

2.激光雷达


3.Radar

4.sonar 声纳

各个传感器的对比

相机类型

一般来说,相机可以分为单目相机、双目相机和多视角相机。

  • 单目相机:最常见的相机类型,只有一个镜头。
  • 双目相机:有两个镜头,类似于人眼的结构。
  • 多视角相机:拥有多个镜头,可以从不同角度拍摄图像。

基础概念

为了理解不同相机系统的运作方式,我们需要了解以下基础概念:

  • 内参:描述相机本身的特性,例如焦距、光学中心等。
  • 外参:描述相机相对于世界的位置和姿态。
  • 对极几何:描述两个相机之间的几何关系,以及如何利用这些关系来计算深度信息。
相机类型 优点 缺点
单目相机 成本低、结构简单 无法直接获取深度信息
双目相机 能获取深度信息 需要精确的相机标定
多视角相机 能获取更全面的信息 成本高、计算复杂

多视角相机在自动驾驶中的应用

多视角相机是BEV方案的核心输入。BEV(Bird's Eye View)是一种从上帝视角俯瞰的3D地图,可以帮助自动驾驶系统更好地理解周围环境。

双目相机在自动驾驶中的应用

双目相机是一种与动物/人类视觉系统非常接近的相机。在矫正良好的双目视觉系统中,两个相机只有水平方向的视差,可以利用对极信息来恢复真实的深度,从而得到真实的3D信息。目前,双目相机是一种替代camera+lidar的自动驾驶方案,业内有DJI、PhiGent Robotics等厂商使用和探索。

单目相机在自动驾驶中的应用

单目相机一般用于自动驾驶的前视摄像头,可以看到比较远的距离。其缺点在于因为没有相机视野之间的overlap,无法从对极信息来恢复真实深度,只能用数据驱动的方法来估计,存在泛化性问题。

结论

自动驾驶中的视觉方案仍然是一种数据驱动的方案。MVS虽然可以利用对极信息来恢复深度,但是overlap也非常少,类似于单目相机系统。

需要注意的点

自动驾驶中的MVS其实overlap也非常少,类似于单目相机系统。

纯视觉的BEV/Occupancy方案其实仍然是一种数据驱动的方案。

相关推荐
想要成为计算机高手1 小时前
11. isaacsim4.2教程-Transform 树与Odometry
人工智能·机器人·自动驾驶·ros·rviz·isaac sim·仿真环境
AI赋能4 小时前
自动驾驶训练-tub详解
人工智能·深度学习·自动驾驶
格林威6 小时前
Baumer工业相机堡盟工业相机如何通过YoloV8深度学习模型实现沙滩小人检测识别(C#代码UI界面版)
人工智能·深度学习·数码相机·yolo·计算机视觉
格林威9 小时前
Baumer工业相机堡盟工业相机如何通过YoloV8深度学习模型实现轮船检测识别(C#代码UI界面版)
人工智能·深度学习·数码相机·yolo·视觉检测
lqjun082712 小时前
相机内外参矩阵:从3D世界坐标到2D像素坐标变换
数码相机·3d·矩阵
Monkey PilotX14 小时前
VLA:自动驾驶的“新大脑”?
人工智能·机器学习·计算机视觉·自动驾驶
安 当 加 密17 小时前
守护汽车“空中升级“:基于HSM/KMS的安全OTA固件签名与验证方案
安全·汽车
格林威1 天前
Baumer工业相机堡盟工业相机如何通过YoloV8深度学习模型实现持械检测(C#代码,UI界面版)
人工智能·深度学习·数码相机·yolo·计算机视觉
地平线开发者1 天前
征程 6|工具链部署实用技巧 6:hbm 解析 API 集锦
算法·自动驾驶
地平线开发者1 天前
开发者说|RoboTransfer:几何一致视频世界模型,突破机器人操作泛化边界
算法·自动驾驶