自动驾驶学习3-摄像头（1）

1、简介

车载摄像头指安装在汽车上，用于监控汽车内外环境情况以辅助汽车驾驶员行驶的摄像设备。智能驾驶的眼睛。
分类：
车载摄像头按安装位置的不同可分为前视、后视、环视、内视车载摄像头。
前视摄像头需要进行测距功能，所以一般分辨率要求较高

广角镜头：焦距为38至24毫米，视角为60至84度的镜头
超广角镜头：焦距为20至13毫米，视角为94至118度的镜头
鱼眼镜头：焦距小于或等于16毫米、视角小于或等于180度的镜头
双目镜头：有两个镜头，能形成立体视觉
单目镜头：一个镜头

安装位置：前视（前挡风玻璃上部，前保）后视（后保等）

← 前保
环视（后视镜，翼子板，后备箱处等）

,内视（内后视镜处）
特斯拉侧视B柱

安装位置方案对比：

从方案中我们可以看到，特斯拉的 8 个摄像头均与行车系统有关联，这与其一直宣传的不依靠激光雷达纯视觉的自动驾驶方案是有较大关联的，特斯拉的这一套方案的最大优势就是：高性价比。特斯拉用了成本非常低的自研 1.2MP 摄像机就实现了 L2+ 级别的自动驾驶。

小鹏 P7 使用了多个摄像头，这一套方案的最大优势就是：可拓展性较强。前期方案在设计时需要提高硬件成本，但是在后期 OTA 升级后，其自动驾驶功能具有非常好的兼容性和可拓展性。

通过这套传感器模型，小鹏实现了具有较好体验的 L2+ 级别的自动驾驶功能，包括小鹏极具特色的高速自主导航驾驶（NGP）和停车场记忆泊车功能。

奔驰 S 级是传统主机厂方案的代表，双目立体摄像头方案是奔驰 S 级最大的优势。相比于单目摄像头，双目摄像头可以计算当前检测目标在 X、Y、Z 坐标下的运动情况，判断检测目标的姿态及目标类型，奔驰在 L2 级别的 ADAS 功能的体验效果也比另外两家好一些。
摄像头的优缺点：

优点：包含语义信息

缺点：环境适应性差

趋势：算力提升，摄像头数目增多，越智能。随着成本压力增大，很多都采用特斯拉重感知，轻雷达的方向。

• 多传感器融合方案成为主流。 自动驾驶的实现路径分两大阵营： 1 ）特斯拉的纯视觉方案； 2 ）多传感器融合方案。
纯视觉方案在高级别自动驾驶上准确率会降低，无法满足复杂情况下的环境监测，存在安全保障缺陷；多传感器融合的方案以技术
冗余来保证安全性，是目前实现 L4/L5 级别自动驾驶的主流路径。
• 纯视觉方案：感知系统以摄像头为主 ，以特斯拉 Autopilot HW3.0 为例， 传感器配置为 8 颗摄像头 +12 颗超声波雷达 +1 颗毫米波雷达。

2、工作原理

车载摄像头的工作原理，是将采集好的图像转换为二维数据，然后对采集的图像进行模式识
别，通过图像匹配算法识别行驶过程中的行人、车辆、交通标志等，最后依据目标物体的运
动模式或使用双目定位技术，估算目标物体与本车的相对距离和相对速度。

3、硬件相关

主要组成包括：镜头组、CMOS芯片、DSP芯片。

镜头组：由光学镜片、滤光片、保护膜等组成，主要用于生成光学图像

CMOS芯片（ComplementaryMetal-OxideSemiconductor，即互补性金属氧化物半导体）主要由硅和元素组成，是一种通过大规模集成电路技术制成的半导体芯片主要用于将光信号转化成电信号

DSP芯片（DigitalSignalProcessing，即数字信号处理技术）指内部具有哈佛结构可实现数字信号处理的芯片，主要用于将数字信号处理成特定格式的图像。

哈佛结构：将程序和数据存储在不同存储空间中的储存器结构。

车载摄像头镜头材质比较：车载要求高

环境要求

4、软件相关（后续更新）

5、标定相关

表达基本概念见下链接

车载摄像头标定原理-CSDN博客

车载摄像头标定通常由内参、外参、畸变系数三类参数来保证摄像头的准确性。

摄像头几何标定主要的目的是，通过一种理论数学模型和优化的手段把摄像头拍到的图像信息转换为我们熟悉的物理坐标系（xyz）,即建立相机投影模型。

以车载摄像头 为例进行推导，ADAS（高级驾驶辅助系统）中存在4个坐标系：

图像坐标系（u, v）

成像平面坐标系（x, y）

相机坐标系（Xc, Yc）

世界坐标系/车辆坐标系（Xw, Yw）

如上图几何标定是摄像头图像在平面上的(二维空间)点与摄像头所拍摄的现实场景中的(三维空间)点之间关系所需参数的过程。

【一文弄懂】张正友标定法-完整学习笔记-从原理到实战-CSDN博客 介绍有张正友标定法，东西很全，强烈推荐。

6、重要参数

与手机摄像头不同，汽车往往要应对复杂多变的路况环境和极端恶劣的天气情况，车载摄像头也因
此需要达到更严苛的标准，而 CIS 作为其中的核心部件，就需要解决包括 HDR 、 LFM、低照等关
键技术难题以匹配车载摄像头高像素、高性能、高稳定性的趋势，新的应用技术以及原有工艺水平
升级也随之成为大势所趋，推升载 CIS 的单位价值。

1 ）高动态范围（ High-Dynamic Range ，简称 HDR ）是场景中最高光强度与最低光强度的比率，
是用来实现比普通数位图像技术更大曝光动态范围（即更大的明暗差别）的一组技术。 HDR 越高
意味着它可以很好的保留光线强弱不同的区域细节，明亮处和黑暗处都可以很好的还原呈现。
2 ） LED 闪烁（ LED Flicker Mitigation ）是指 LED 灯通常以频率（通常为 90Hz ）进行闪烁，肉
眼无法识别，但快门时间更短的图像传感器可以，因此一旦相机曝光时间过短，就会出现曝光时间
与 LED 开启时间错位的情况，导致采集到明暗错误或持续闪烁的图像信息。
实际场景中 LED 灯闪烁和高动态范围有时会同时出现，比如在夜间的街道，车大灯、广告灯都以
LED 灯居多，当 LED 灯非常明亮时，明暗对比也非常剧烈，也就带来了高动态范围的要求。对于
自动驾驶系统而言，上述两个问题容易引起系统的误判，甚至是酿成严重后果。 自动驾驶开发已经
逐步开始向更高级别迈进，汽车也愈发依靠 CMOS 图像传感器来提供准确的图像数据、判断路况， HDR 和 LFM 也成为了 CIS 升级绕不开的关键问题所在。

针对上述问题，其解决方案按照不同实现途径可分为 硬件扩展动态范围 （包括大小像素融合、像素
内增加大阱容技术）和 软件扩展动态范围 （主要指时域多次曝光融合技术）两类，其中软件扩展动
态范围比较容易实现，其本质是在时间域的多次曝光技术，分次获取高动态范围场景部分信息，但
无法达到抑制 LED 闪烁功能的效果，而大小像素曝光和像素内增加大阱容可以同时解决高动态范
围和 LED 闪烁抑制。
1 ）时域多次曝光融合： 其原理是指通过对同一场景做多次曝光得到一系列低动态范围图像后进行
合成。通俗来说就是连续拍两三张照片然后融合成一张照片。不同的曝光之间灵敏度不一样，采
集的亮度不同，从而实现动态范围的扩展。其缺点在于多次曝光在时间上有滞后，会导致鬼影的问
题。

2 ）大小像素融合： 与时域多次曝光融合原理相似，但大小像素通过对硬件传感单元进行重新设计
然后组合成像。使用该技术的传感器在相邻位置有一大一小两个像素，不同像素下光通量不同，照
片亮度也自然不同。将同时拍摄的、不同像素的两张照片融合在一起，大像素可以把暗的地方拍清
楚，小像素把亮的地方拍清楚，两者结合以实现高动态。该方案的缺点在于虽然曝光次数只有一次，
但有两种尺寸，像素之间的串扰、敏度之间的差异致使其具有一定的局限性。

3 ）像素内增加大阱容： 是一种传感器附加硬件扩展的方法，采用空间光学调制器以达到对传感器
的光强进行调制的目的。该种方法原理简单效果明显，但是控制复杂，整体系统设计实现难度较大。相较于手机端 CIS 单价一般在 1-10 美金，汽车 CIS 单颗价值可能高达 20 美金以上。 除了技术规 格更高以外，车用 CIS 晶圆尺寸更大也是一大原因 。

7、产业与行业现状

产业链上游的光学镜片供应商、滤光片供应商、保护膜供应商、晶圆供应商，上游的光学镜片供应商、滤光片供应商、保护膜供应商主要为中游的镜头组制造环节提供光学镜片、滤光片、保护膜等原材料，晶圆供应商主要为中游的CMOS芯片及DSP芯片制造环节提供晶圆材料。

中游的镜头组供应商、胶合材料供应商、CMOS芯片供应商、DSP芯片供应商；中游的镜头组供应商、胶合材料供应商、CMOS芯片供应商主要为下游的模组封装环节提供镜头组、胶合材料、CMOS芯片等制造元件及材料，而DSP芯片供应商主要为下游的系统集成商提供DSP芯片。

CMOS芯片是车载摄像头的重要组成部件，主要用于将光信号转化为电信号。除车载摄像头外，CMOS芯片还广泛应用于手机摄像头、安防摄像头、相机摄像头等设备中。CMOS芯片供应商主要有索尼三星豪威、安捷伦、安森美、格科微电子等。

DSP芯片：将模拟信号转为数字信号，强调数字信号处理的实时性。主要是德州仪器、ADI等。

胶合材料：主要为无影胶，又称UV胶（UltravioletRays）。无影胶是一种需通过紫外线光照射进行固化的胶粘剂，广泛应用于工艺玻璃、电子电器、数字光盘、医疗用品等领域。在车载摄像头产业链中，无影胶主要用于模组封装环节。无影胶材料供应商数量众多，主要包括乐泰、东洋、爱普生、道康宁、恒诚伟业、日本精工等，市场竞争激烈。

镜头组是车载摄像头的核心组成部件之一，其品质由焦距、视场角、相对照度、分辨率等指标进行衡量。镜头组供应商数量众多，市场竞争激烈，其中，镜头组头部厂商主要有舜宇光学、大立光学、玉晶光电、联合光电、先进光、亚光、佳凌等。

下游的模组供应商主要负责封装车载摄像头模组，系统集成商主要负责车载摄像头的影像系统集成工作。

模组供应商：日韩厂商\舜宇光学和欧菲光\同致电子、深圳豪恩、苏州智华、联合光学等

系统集成商：索尼、松下、法雷奥、麦格纳、同致电子、辉创电子等。

8、发展趋势

1）消除杂光鬼影，提升光学成像稳定性：

随着车载摄像头工艺的优化与升级，车载摄像头抗震、耐磨、耐高温低温能力逐渐提高，画质更加清晰。

为了控制车大灯等正面强光干扰引起的鬼影杂光、在极端温度或短时间快速温差变动的状况下保持光学成像稳定性以及有效捕捉和分辨物体细节，除了从软件上提升算法外，车载镜头厂商也在积极地通过改进镀膜工艺、提高技术参数以及在镜头外增加导电加热膜等方式，不断推动车载镜头产品整体的技术进步。

比如说，舜宇开发出模芯镀膜技术，通过一次模压成型、模压镜片消光工艺，达到车规级镜片要求，实现高清画质。

2）像素升级：800W像素摄像头

车载摄像头感知的核心是视觉，而分辨率决定了视觉的高下。随着ADAS功能对感知距离需求的提升，感知内容方面的更精细，分辨率更高的摄像头大势所趋。

理想汽车官网对于800万像素感知摄像头介绍

对于主流的新能源车企来说，120W到200W的镜头已经不再满足使用，行业开始升级到800W像素，比如说蔚来、理想。目前具备800W像素摄像头模组生产能力的厂商还比较少，比如说舜宇、联创电子等。

3）镜头材质：玻塑混合

车载摄像头要求具有高耐用性和热稳定性。按材质来分，车载摄像头的镜片可由玻璃、塑料制成。玻璃镜片具有高耐用度和防刮伤性，且温度性能较好，因此更多用在高端产品中。而塑料镜片价格便宜但是成像效果差，且在汽车恶劣的使用环境中容易造成镜片变形，影响成像质量。

目前，综合考虑成本和性能，主流厂商车载镜头正逐渐开始使用玻塑混合镜头为主，部分高端镜头采用全玻方案。

塑料与玻璃镜头性能对比如下：

塑料镜头：

优点：重量轻、成本低、工艺难度低，适合大批量生产；

缺点：透光率稍低，耐热性差、热膨胀系数大、耐磨性差、机械强度低等。

玻璃镜片：

优点：性能优良，透光率高；

缺点：主要是量产难度大，良率低、成本高。

4）镜片工艺：非球面镜片

球面镜片会导致像差问题，即从镜片中央射入的光线与镜片边缘射入的光线的焦点不一致，进而造成成像模糊的问题。球面镜片需要多枚镜片组合来减小像差。

非球面镜片是由球面和平面以外的曲面组成的镜片，通过改变镜片的曲率，使光线汇聚在固定的焦点，解决了像差的问题，且仅需一枚镜片就可实现。因此，非球面镜片具有小型化、轻量化和成像效果佳的优势，已经成为高像素车载镜头的最佳解决方案。

舜宇光学的球面镜片与非球面镜片

塑料非球面镜片采用注塑生产实现，而玻璃非球面镜片是采用优质的光学玻璃,利用精密控制的热模压技术进行生产的产品。目前，具备车载摄像头非球面镜片生产能力的企业有：舜宇光学、联创电子、蓝特光学等。

5）自清洁以及防雾除霜

车载摄像头依靠光线传播识别道路信息，镜头表面脏污会导致识别能力下降，很难从光学角度减少脏污。而此外，每当遇到雨雪天气，暴露在车外的摄像头甚至还会出现起雾结霜的问题。

自清洁防污：目前主流厂商至少会在车载摄像头的镜头表面镀一层疏水涂层，一方面可以有效通过喷水清洗等手段去除脏污。

图源，宁波捷傲

防雾除霜：目前业界有两个方向，一是通过镀膜，镜头外表面镀疏水膜，镜头内表面镀亲水膜；二是采用加热方案，或是镜头整体加热，或者是镜头表面做一层透明导电膜实现加热。

6）AA封装

车载镜头组装需要高精度的AA 技术。车载摄像头模组的封装需要经过多次装配，误差叠加将导致产品良率下降。AA 技术使镜头与CMOS 图像传感器的相对位置自由可调，还可以通过实时采集分析成像数据，调节水平位置以及镜头的倾斜角度，从而保证图像的清晰度，并保证光轴与像面的焦点处于图像中心。

随着车载摄像头分辨率的提升，镜头与CMOS 间的定位精度的要求也不断上升。因此，AA 设备的技术含量将影响各组件的机械工差修正，进而影响摄像头成像质量以及产品的一致性。

中科精工大广角AA设备

在车载摄像头领域，现阶段AA设备带来的资本投入非常大，比如说进口的AEI、ASM等。而随着国内设备厂商的成长，比如说：中科精工、华亚智能、艾微视、德赛自动化、广浩捷科技、天准、舜宇等。AA设备的成本也将会有一定下降。

7）夜视技术

为了保障行车安全，汽车ADAS功能需要尽量实现全天候运转。摄像头是通过感光与算法实现对周边环境感知，因此在光线不足如夜间行车、过隧道等场景下，需要增强摄像头的夜视能力。目前汽车夜视系统按成像原理与镜头不同可以分为三类：微光、近红外以及远红外。

现有的夜视辅助系统可以做到识别超出远光灯范围的行人，对危险进行提前预知，来源轩辕智驾

微光：从字面意义理解，是通过放大接收到的少量可见光，最终将图像采集并投射到相应显示屏上。微光跟一般摄像头的成像原理一致，都是通过可见光实现夜视，但需要一定的可见光环境。

近红外夜视：也有称为主动红外夜视技术，是指工作时用较强的红外发射源照射目标，利用目标反射回来的红外线来得到物体的像。工作波段在 800~1000nm 的近红外光。

远红外夜视（热成像系统）：也有人称之为被动红外夜视技术，主要是利用物体自身发出的红外辐射来成像，这也就是大家所说的热成像。热成像系统是基于目标与背景的温差而形成的红外发射率的差异，利用辐射测温技术对目标逐点测定辐射强度，而形成可见目标的热图像。其理论工作波段在1-14um之间，但一般远红外夜视主要使用短波 (3μm -- 5μm)与长波 ( 8μm --14μm)这两种。