自动驾驶中的传感器技术24.1——Camera(16)

1、CMS系统介绍

虚拟CMS 理想MEGA新增HUD数字后视镜影像功能成为市场关注焦点,通过借助现有智驾感知硬件和HUD交互,通过直接调用环视/侧视摄像头,在驾驶员拨动转向杆的同时,通过HUD显示转向盲区的图像,实现类似CMS的部分盲区显示功能。理想旗下的多款车型都开始陆续OTA这项新功能,也被视为HUD上车在传统功能层面的一次创新。尽管相比于CMS的图像显示清晰度有很大的差距,但实现了低成本的功能落地。

理想软件实现,硬件借助HUD和侧视Camera
图1 理想软件实现的CMS

智己汽车IM OS 2.3.0推出的全域数字视野补盲功能,基于"场景标签+融合感知+MR增强显示+图像算法",在现有硬件(摄像头+显示屏)的基础上实现主驾大屏显示盲区路况,覆盖A柱、侧后以及后视野补盲。

智己软件实现,硬件借助条状大屏和侧视Camera
图2 理想软件实现的CMS

实体CMS(Camera Mirror System)
图3 CMS显示屏集成在侧门上
图4 CMS显示屏集成在A柱上
图5 商用车CMS
图6 乘用车CMS 和商用车CMS

IMS(Interior Mirror System):本质上也属于CMS
图7 麦格纳的CMS创新(后视和侧视组合)

CMS的一般要求

为保证图像清晰与准确,电子后视镜需要具备比传统光学后视镜更为复杂的硬件与软件支持:

  • 硬件方面:需要采用高清广角摄像头/多摄像头/镜头防抖/夜视/破雾功能等基本配置。

  • 软件方面:需要考虑画面延迟/减少图像失真/拼接畸变纠正/播放帧数/传递速率等等一系列问题,这对处理终端提出了更高的挑战。

图8 乘用车CMS摄像头的FOV与其他摄像头FOV的相对关系

https://www.embedded.com/overcoming-automotive-camera-link-challenges/
图9 乘用车CMS摄像头的爆炸图

2、CMS系统带来的优势

传统玻璃后视镜存在"看不全、看不清、受干扰、风阻大"四大问题,容易在变道或 者转向时发生交通事故,风阻较大增加油耗和电耗。

1、 看不全:传统后视镜视野较窄、盲区较大,变道和转向时容易发生交通事故。传统 玻璃后视镜采用曲面设计,镜面表面曲率一旦确定,可观察的范围就固定了下来, 传统后视镜视场角 FOV 在光学曲面的限定下,只有通过电子旋钮或者手动去调才 能调对应的光学焦距;而且为了防止镜面上的图像变形过大而失真,曲面不能无限 加大,导致传统后视镜 FOV 有限,厂商只有通过加大镜片边缘曲率(双曲率镜片) 或者另外增加一块曲面更大的小镜子来弥补盲区问题,但盲区这一最大的致密伤始 终存在。由于传统后视镜 FOV 窄,所以在变道和转向的时候侧后方有一定盲区看 不到,特别是在卡车上,因此现在很多卡车强制性安装 BSD(盲区监测系统), 盲区在交通事故原因的占比也一直居高不下。
图10 传统外后视镜FOV
图11 传统外后视镜盲区
图12 传统外后视镜FOV和盲区

2、 看不清:雨雪雾等恶劣天气影响,传统玻璃后视镜视野范围内无法看清。当遇到恶 劣雨雾天气,传统玻璃后视镜是用镜片后面的电热丝加热的方式去解决后视镜看不 清问题,但是有一定的时效性,车窗玻璃上也有雨珠;另外狂风暴雨的时候也不可 能摇下车窗去擦后视镜。雪天还会产生刺眼等各种各样的问题。

3、 受干扰:主要是受外界"光线太弱"影响导致画面太暗看不清(比如夜晚、穿隧道 等场景),以及外界"光线太强"导致炫目的问题(例如后方来车车灯闪烁)。

4、 风阻大:因为传统玻璃后视镜截面较大,因此风阻较大,电车增加电耗,油车增加 油耗。

CMS 电子后视镜可以很好解决上述传统后视镜面临的四大问题,因此 CMS 替代传统 后视镜是大势所趋。

1、 CMS 可以扩大 FOV,减小盲区。摄像头 FOV 可以是 30°、90°、120°是可以调的, 可以在适当 FOV 下看尽可能远的距离(FOV 越小,可见距离越远),这样可以补 偿盲区,特别是在大型运输车辆尤其重要。
图13 CMS 摄像头FOV

2、 CMS 对抗雨雪雾恶劣天气影响的能力明显强于传统玻璃后视镜。和传统玻璃后视 镜不同,外置镜头是藏在防护罩内的,镜头表面积很小,所以摄像头可以做比较小 的封装,另外 CMS 摄像头还附着了自清洁及水性防护涂层,工作期间可以自发热 去除雨雾雪包围的状态。所以外部天气干扰对 CMS 造成的影响要小很多。

3、 CMS 可以通过图像调优算法(ISP)大幅降低外界光线干扰。夜晚等外界"光线 不足"的情况下,CMS 可以通过低光照感光技术、画面矫正和图像提高,使得黑 暗中视觉效果尽可能接近白天的状态,这一点是传统后视镜远不能达到的。针对外 界"光线太强"导致的眩目问题,摄像头可以通过 ISP 技术进行完美调校,解决光 照强度对驾驶员视线的影响。

4、 降低风阻:CMS 摄像头后视镜横截面积能缩小为传统玻璃外后视镜的二分之一乃 至更低,从而降低了风阻系数,省油省电。本田 e 的电子后视镜将能降低整车 3.8% 的风阻。奥迪 etron 整车的风阻系数为 0.28,选装电子后视镜后风阻系数将进一步降低至 0.27。风阻系数的下降可以使得电动车提升续航里程,可以使得燃油车 更加节油(以比亚迪汉为例,风阻系数每降低 0.01,车的续航将增加 8 公里;对 于油车而言,风阻系数每降低 0.01,燃油经济性可提高 2.136%~2.67%,即 10L/ 百公里的汽车油耗可降低 0.2136L~0.267L/百公里)。

3、CMS分类

图14 CMS种类

Ref:INTRODUCTION TO CAMERA-MONITOR SYSTEMS (CMS)
图15 CMS中的2类镜和4类镜组合
图16 CMS中的2类镜、4类镜、5类镜组合FOV

目前乘用车主要涉及的是一类和三类镜
图17 乘用车CMS的1类镜和3类镜

4、CMS系统架构(三类镜)

完全独立方案
图18 CMS独立系统方案

复用中央域控ISP算力方案
图19 CMS复用中央域控ISP算力方案

5、CMS图像延迟要求

在电子后视镜中,延时是从事件发生,到被传感器感知,并经过ISP处理,送到显示屏上显示的全过程的时间消耗。它直接影响到驾驶员对后方环境的实时判断。如果延时过高,可能导致驾驶员对后方交通状况的判断不准确或错过重要信息,增加事故风险。
图20 CMS数据处理流

相对时速取值120km/h(33.3),是考虑高速路汇车时,两车时速差。根据国家标准GB/T 12673-2019,小轿车的标准尺寸长度在3.8m-4.3m之间,100ms延时的距离差大约3.33m的距离,大概如图所示:超过100ms的延时显然是有一定危险在的。
图21 CMS延迟导致的风险

图像延时估算与优化:(Camera Mirror Systems on AM62A) https://www.ti.com/lit/wp/spradc4/spradc4.pdf?ts=1754903400871\&ref_url=https%253A%252F%252Fwww.google.com%252F
图22 CMS延迟量导致的后车实际位置距离偏差

https://www.smartautoclub.com/p/68009/

6、CMS实例产品

https://www.kappa-optronics.com/de/automotive/automotive-portfolio-cms-adas/ Rearview OneBox®:适用于 I 类和 III 类后视镜的汽车 CMS Rearview OneBox (®)为多种后视镜类别和车辆类型提供了一个强大的平台------为汽车领域的数字视觉解决方案提供了出色的灵活性!
图23 CMS产品实例
图24 CMS产品实例
图25 CMS产品实例

车载摄像头特点

  • 260万像素摄像头

  • 数字视频输出和控制方向通道

  • 具有最新的LED闪烁缓解功能的CIS

  • G2G低视频延迟:<30ms@22℃±5℃

  • 高端夜视功能

  • 高品质5G光学

  • 集成智能PTC加热器,用于除冰/除霜

技术数据

  • 亮点:集成加热器、IP69K 防护、HDR ISP、高端电光组件,具有出色的灵敏度、眩光和鬼影

  • 软件:集成 ISP 固件

  • 分辨率:1920 x 1080像素(2.6 MP)

  • 动态:>120 dB

  • 接口:高速串行链路,带 MIPI CSI-2 视频和 I2C 控制,并结合电源

  • 加热器:集成除冰和除雾装置

  • 温度:-40° 至 + 85°C

  • 尺寸/重量:不带连接器:44.75 x 26 x 26,带连接器:54.8 x 26 x 26,约 80 克

  • 连接器:Fakra 带 50 欧姆同轴电缆(一个用于电源和信号)

图26 华阳CMS产品路线图

7、CMS图像质量评估

需要测试的关键图像质量因素包括:https://www.imatest.com/micro_site/automotive-camera-testing-solutions/

图27 最新国标对图像质量要求

https://www.smartautoclub.com/p/66670/

点光源测试
图28 CMS需要区分后车大灯的光源数

方向均匀性
图29 驾驶员视角下,CMS成像的均匀性

http://www.mycar58.com/zixun/49611.html https://www.smartautoclub.com/p/46859/

8、CMS落地的困难点

高昂的成本: 电子后视镜的软硬件结构复杂,因此,目前成本很高。

可靠性问题:电子后视镜,其可靠性肯定不如传统的机械结构。而另一方面,电子后视镜自车辆启动便需要持续工作,工作时间长,再加上车外恶劣的环境,产品稳定性堪忧。而一旦在车辆行驶中出现摄像头损坏或显示屏死机,将严重影响行车安全。

视线转移造成的干扰问题:现有显示屏安装位置相较于传统的光学后视镜会产生一定差异,另外,驾驶员观察前方视野与观察显示屏的焦距并不一致,容易造成眼睛疲劳。

国内政策法规还不允许纯CMS量产:整体来说,电子后视镜CMS相较于传统光学后视镜还是有着明显的优势。但受限于不同地区的安全法规,除概念车外,目前仅日本或欧洲市场上的少数量产车型有搭载。比如说2018年上市的雷克萨斯ES、奥迪E-Tron,此外,奔驰的商用车Actros上也有出现。好消息是:据了解,GB 15084《 机动车辆间接视野装置的性能和安全要求(报批稿)》有望在2022年年中发布,CMS市场或将快速进入量产阶段。

9、CMS玩家

主机厂:目前已经发布的量产CMS车型主要是在欧洲以及日本市场,包括雷克萨斯 ES300h(日本),奥迪e-tron(欧洲)、本田e(日本)、奔驰Actors 重卡(欧洲)、曼恩 尼奥普兰巴士(欧洲)、达夫XG+、沃尔沃等。 受限制于政策法规,目前国内商用车智能在传统光学后视镜之外再额外增加CMS配置从而将视野形成补充,比如说比亚迪的K9纯电动、比亚迪B12/B12D、陕汽X6000牵引车、柳汽乘龙H7等等。 而在乘用车领域,国内还未有一款CMS车型量产,概念车到是出过不少,比如说威马、岚图、智己汽车、上汽R、比亚迪等,但目前来看,最快量产的或许是去年广州车展发布的北京魔方。待前面说到的GB 15084标准放开,北京魔方或将成为国内首例搭载CMS的乘用车。

TIER 1:各车厂正在摩拳擦掌,跃跃欲试抢占国内乘用车CMS首发。而对CMS系统供应的TIER 1 来说也已经布局很久。目前业界领先企业有:梅克朗、博世、法雷奥、ficosa、Tokai RIKA、Samvardhana Motherson Group、豫兴电子、远峰科技、青岛即东、华阳、疆程、航盛、德赛西威、广州融胜、等 https://cj.sina.com.cn/articles/view/7426890874/1baad5c7a0010152v7?from=auto
图30 CMS上车情况

https://www.42how.com/article/6421

10、CMS法规

2020 年 6 月 3 日,工信部发布了国家强制性安全标准 GB15084(机动车辆间接视野装置性能和安装要求)征求意见稿,新标准在 CMS 板块增加了 CMS 凸出高度要求及突出高度的测量方法;增加了 Ⅰ 至 Ⅳ 类 CMS 的功能性要求,修改了 Ⅴ 类和 Ⅵ 类 CMS 的功能性要求;增加了对于 CMS 的撞击要求及试验方法。 从目前公开信息显示,标准有望在今年年中公布,在 2023 年 1 月 1 日起开始实施。2022 年下半年,汽车制造商可以开始申报搭载 CMS 的新车型并开展定点实验,CMS 市场将进入快速量产阶段。 http://c.gb688.cn/bzgk/gb/showGb?type=online\&hcno=6578AB2E41D80E9AB75A7D151EC3E6C4
图31 CMS全球法规罗列

https://www.eet-china.com/mp/a317001.html https://www.smartautoclub.com/p/46859/

11、CMS挑战与痛点

CMS 系统需要满足 GB15084 标准、满足汽车 D 安全等级,其技术门槛、安全等级、性能指标等苛刻要求,绝非是倒监屏、行车记录仪、流媒体等汽车辅助件可同日而语。另,按照全部取代传统后视镜测算,国内电子后视镜商用车和乘用车前装市场接近千亿元规模。前景虽然很广阔,但是现实也存在一些亟待攻克的难关:

解决低光复杂环境条件下的成像

所有汽车成像系统面临的主要挑战是改进低光条件下成像,同时提高分辨率和成像的动态范围。为避免后方车辆靠近时其大灯导致图像过饱和,CMS 必须具有良好的成像品质,低照度必须在 1Lux 以下,动态范围需超过 110db。同时,成像系统必须具有充足的像素来填充具有高水平分辨率的监视器,这些条件都超越了传统像素技术的限制。 车载摄像头不同于安防监控与其他视频类相机,应对炫光可以选择安装遮光罩或改变摄像机安装位置避开强光源的照射。如何保证清晰的成像画质对系统技术提出了更高的挑战。

车灯闪烁对摄像机的影响

另一重大挑战是 LED 车灯或路灯闪烁时对当前图像传感器的影响。在显示屏后视镜中,日间行车灯会因脉宽调制 (PWM) 而呈现闪烁状态,可能会导致驾驶员误以为发生紧急状况或警车正在靠近而影响安全。许多日间行车灯的 PWM 频率在 90-300Hz,在日间条件下传感器曝光量较小时,在该范围成像十分困难。

长时间使用的可靠成像

摄像机替换了后视镜,既要解决 「有无」 的问题,看见的范围要覆盖传统的后视镜盲区;更加要解决 「看得清」 的问题,在视野里有其它汽车大灯,但仍要看清其它障碍物。替代后视镜的摄像机,只要汽车一上电,就在工作,工作时间长,而且高速行驶时仍需要进行使用。对摄像机的各方面要求更高,在高像素、无畸变、宽动态、低照度、高帧率、高可靠性都带来更高的挑战。

12、CMS教材与研报

https://link.springer.com/book/10.1007/978-3-319-29611-1 https://pdf.dfcfw.com/pdf/H3_AP202205091564456957_1.pdf