自动驾驶中的传感器技术24.2——Camera（17）

本文信息来自网络搜集汇总

1、OMS的技术基础

1.1 单目RGB-IR

RGB-IR，可见光和红外光双波段工作模式，同时需要布置红外补光灯。在夜间可以采用IR红外光进行检测；在白天采用RGB可见光进行工作。目前主流的舱内监控摄像头均在摄像头上配备了IR-LED对驾驶员和乘员进行补光照明，并且将IR-LED与摄像头集成在一体。IR-LED与摄像头集成在一体，IR-LED发射的近红外光照射到人体或物体后，在人体或物体表面形成漫反射光，人体或物体由此变亮，摄像头镜头对照亮后人脸进行拍摄，形成较亮的人脸图像。那么，如何提升DMS/OMS的图像在黑暗状态下的对比度？根本原因取决于于IR-LED的补光强度的大小。这是在产品开发初期需要确定的最为关键的因素。那么如何确定这个因素？下面我们引出做为DMS/OMS产品设计初期时，IR-LED与人脸或物体亮度相对应的计算方法：通过以上方法，将IR-LED的辐射通量与人脸或物体的亮度值DN相对应，将选用的Lens、Sensor的性能参数代入公式内，即可确定IR-LED与DN的具体关系，从而将补光亮度与图像质量关联在一起，多大的DN值可以提升图像算法识别率，就选用多大功率的IR-LED进行补光，就变得轻松且有根据了。

1.2 TOF

TOF是Time of flight的简写，直译为飞行时间的意思。所谓飞行时间法3D成像，是通过给目标连续发送光脉冲，然后用传感器接收从物体返回的光，通过探测光脉冲的飞行（往返）时间来得到目标物距离。这种技术跟3D激光传感器原理基本类似，只不过3D激光传感器是逐点扫描，而TOF相机则是同时得到整幅图像的深度信息。TOF相机与普通机器视觉成像过程也有类似之处，都是由光源、光学部件、传感器、控制电路以及处理电路等几部单元组成。与同属于非嵌入式三维探测、适用领域非常类似的双目测量系统相比，TOF相机具有根本不同的3D成像机理。双目立体测量通过左右立体像对匹配后，再经过三角测量法来进行立体探测，而TOF相机是通过入、反射光探测来获取的目标距离获取。由于TOF采用多点发射和测量的方法来计算并得出深度信息，因此它的特点是分辨率低，功耗高。受激光发射点的限制，其分辨率一般不会超过640*480，功耗却是结构光的十倍以上。

1.3 双目结构光+RGB

双目结构光采用的是双目立体视觉的技术，它模仿人眼的左右视差，用2个红外摄像头从左右两个方向获取被测物体的两幅图像，然后计算图像对应点之间的偏差，采用三角测量的方式计算得出视差图，再转换为3D深度信息。在这里的结构光，指的是红外投射器会投出一个简单的红外光点阵，用来增强物体表面的纹理，然后再由IR摄像头拍摄物体图像，利用算法进行后期计算处理。双目立体视觉系统的四个基本步骤： 1 相机标定：主要包含两部分内容: 单相机的内参标定和双目相机的外参标定，前者可以获得每个相机的焦距、光心、畸变系数等参数，后者可以获得双目相机之间的相机坐标系的旋转、平移关系。 2 立体校正：该过程是根据相机的标定结果，对两个相机采集到的原始图像进行校正，校正后的两张图像位于同一平面且互相平行，即图像的每行像素之间共线。 3 立体匹配：该过程是根据立体校正后的图像，进行像素点的匹配，匹配成功的点表示真实世界中的某点在这两个图像中的不同位置。 4 深度计算：对立体匹配后得到的2幅图，利用三角测量法逐个计算每一个像素点的视差，得到视差图后，再转换成为深度图。双目的优点是硬件资源需求低，只要2个普通的IR相机，搭配一颗带DSP的SOC芯片即可计算获取深度图。但它的缺点是必须配置双目，并要求具有一定的基线长度，因此它的安装环境受限。

1.4 单目结构光

结构光，英文叫做 Structured light，基本原理是通过近红外激光器，将具有一定结构特征的光线投射到被拍摄物体上，再由专门的红外摄像头进行采集。这种具备一定结构的光线(激光散斑)，会因被摄物体的不同深度区域，而采集不同的图像相位信息，然后通过运算单元将这种结构的变化换算成深度信息，以此来获得三维结构。简单来说就是，通过光学手段获取被拍摄物体的三维结构，再将获取到的信息进行更深入的应用。通常采用特定波长的不可见的红外激光作为光源，它发射出来的光经过一定的编码投影在物体上，通过一定算法来计算返回的编码图案的畸变来得到物体的位置和深度信息。相对于TOF，结构光的功耗较低，因为它只需要投射一小块区域就可以满足要求。它的分辨率和精度都高于TOF，且成本也比TOF低。相比双目结构光，单目结构光的基线可以做得较小，方便布置在车内环境中。并且它在低光照条件下仍然可以使用，更适合车内环境。

1.5 小结

对上述感知摄像头方案进行比较，除了不带深度信息的单目RGB+IR之外，其余3种都是深度相机的可选项。双目结构光+RGB方案，最大的问题在于实现算法需要很高的计算资源，导致实时性很差，而且基本跟分辨率，检测精度挂钩。也就是说，分辨率越高，要求精度越高，则计算越复杂，同时，纯双目方案受光照，物体纹理性质影响。所增加的RGB摄像头只有1路，主要用于与深度图的对比显示。 TOF方案，由于硬件条件限制，其分辨率较低，感知精度低于结构光和双目立体方案。需要多点激光发射，硬件成本高，但是它的算法复杂度低，实时性高，可达120帧率，并且硬件计算资源需求较低。单目结构光方案，目的就是为了解决双目中匹配算法的复杂度和鲁棒性问题而提出，该方案解决了大多数环境下双目的问题。但是，在强光下，结构光核心技术激光散斑会被淹没，因此，在阳光强烈的时候，可能会失效。

2、OMS的历史

Ref：https://blob.wenxiaobai.com/article/18254ba1-f7f8-febf-c58b-030a7a865a34

2.1 DMS历史

DMS并不是一个完全新颖的概念，不过，传统DMS通常依赖于从车辆收集信息的被动技术，例如车道保持、驾驶持续时间，以及转向传感器等。然而，这些被动技术已经被证明不够准确，容易导致很高的误报率。因此，ADDW法规转向主动监测驾驶员的眼球运动，标志着DMS从被动技术向基于视觉的主动监测技术转变。根据"欧盟通用安全法规"，从2024年中期开始，所有划归M类和N类的新制造车辆都必须配备先进的驾驶员分心警告系统（ADDW）。ADDW系统主要监控驾驶员的眼睛运动，并在检测到分心迹象时发出警告。早在2019年，宝马X5车型就已经配备了驾驶员注意力摄像头，用于观察驾驶员的睁眼情况和头部位置，从而评估驾驶员的专注程度。 DMS的起源驾驶员监控系统最早可以追溯到20世纪90年代，最初的研究主要集中在检测驾驶员的疲劳状态。随着计算机视觉技术的发展，DMS开始应用于商用车辆，以减少因疲劳驾驶引发的交通事故。 DMS的发展历程

早期阶段（1990s-2000s）：早期的DMS系统主要基于传感器技术，通过眼动检测来判断驾驶员的疲劳状态。这一阶段的系统相对简单，检测精度较低。
中期阶段（2010s）：随着图像处理和计算机视觉技术的进步，DMS系统开始利用摄像头捕捉驾驶员的面部特征，通过图像分析来检测驾驶员的注意力状态。该阶段的系统精度有所提升，但在实际应用中仍面临挑战。
现代阶段（2020s-至今）：现代DMS系统结合了深度学习算法，通过更高分辨率的摄像头和更强大的计算能力，实现了更为精准的驾驶员状态监控。系统不仅可以检测疲劳状态，还可以识别分心、情绪等多种驾驶员状态。

关键技术

图像处理：包括面部识别、眼动跟踪、表情识别等技术。
深度学习：利用神经网络模型提升识别精度。
多传感器融合：结合摄像头、红外传感器等多种传感器的数据，提高系统的鲁棒性。

法规要求与业界现状

欧盟：2022年，欧盟通过了一项法规，要求到2024年所有新生产的车辆必须配备DMS系统。
中国：2021年，中国发布了《汽车驾驶自动化系统安全要求》，其中明确规定了DMS系统在L2及以上自动驾驶车辆中的应用要求。
北美：美国国家公路交通安全管理局（NHTSA）也在积极推动DMS系统的应用，并计划在未来几年内推出相关法规。

DMS可分为两类：直接/主动监控和被动/间接监控。被动监控依靠驾驶持续时间和车道保持等车辆信息来评估驾驶员的疲劳程度，但这种方案有可能产生误报。另一方面，根据ADDW的要求，主动监控利用近红外（NIR）相机，这对于眼球运动检测特别有效，且不会影响驾驶员。近红外相机通常包含一颗或两颗LED/VCSEL照明器，以及一颗图像传感器，它们通常被安装在车辆A柱或转向柱等位置。然后，通过软件提取驾驶员眼睑闭合以及打哈欠等特征，在识别驾驶员瞌睡或疲劳迹象方面发挥着至关重要的作用。

2.2 OMS历史

OMS的起源乘员监控系统的研究起步较晚，其起源可以追溯到2010年前后，主要目的是为了提升车内乘员的安全性和舒适性。OMS系统通过监控车内乘员的行为和状态，提供相应的安全和娱乐功能。 OMS的发展历程

起步阶段（2010s）：早期的OMS系统主要用于检测乘员的有无、座椅位置等简单信息。这一阶段的系统功能有限，主要依赖于传统传感器。
发展阶段（2020s）：随着计算机视觉和人工智能技术的引入，OMS系统开始具备乘员身份识别、行为分析等高级功能。系统能够识别乘员的面部特征、手势动作，并据此提供个性化服务。
未来阶段：未来的OMS系统将更加智能，能够实时分析乘员的情绪、健康状况，并与其他车载系统进行联动，提供更加全面的安全和舒适保障。

关键技术

人脸识别：用于乘员身份验证和个性化设置。
手势识别：通过手势控制车载系统，提高交互体验。
行为分析：分析乘员的动作和状态，提供安全预警和健康监测。

法规要求与业界现状

欧盟：欧盟对OMS系统尚无强制性法规，但鼓励在豪华车型中应用，以提升乘员的舒适性和安全性。
中国：中国在2021年发布的《智能网联汽车信息安全技术要求》中提到，未来高端车型将逐步配备OMS系统。
北美：北美市场对于OMS系统的需求主要集中在豪华车市场，相关法规还在制定过程中

DMS还可以升级为OMS-即车内人员监控系统，摄像头不仅可以对驾驶员的状态进行跟踪，包括驾驶员疲劳的一些提醒，甚至还可以对后排乘客进行跟踪，以满足相关乘车需求。OMS传感方案包括五种，分别是摄像头、毫米波、超声波、压力传感器和生物特征传感器。目前，OMS主流传感方案为1*OMS摄像头（占比高）或1*毫米波雷达。在座舱感知方案中，诸如毫米波雷达等感知方案可以作为视觉方案的补充，能够有效降低隐私侵犯和泄露风险，主要用于座舱OMS系统的生命体征检测，目前国内已有多家车企搭载了该种方案。

2.3 RMS历史

RMS的起源舱室监控系统主要用于监控整个车内环境，最早起源于豪华车型和特殊用途车辆，如警车和救护车。RMS系统可以实时监控车内情况，提升乘员的安全性和舒适性。 RMS的发展历程

初步阶段：早期的RMS系统主要依赖于固定摄像头和简单的传感器，用于监控车内环境。这一阶段的系统功能较为基础，主要用于安全监控。
中期阶段：随着传感器技术和图像处理技术的发展，RMS系统开始引入多摄像头和高精度传感器，实现对车内环境的全方位监控。这一阶段的系统能够实时捕捉车内每个角落的情况，并进行智能分析。
未来阶段：未来的RMS系统将更加智能化和集成化，能够与车内其他系统无缝连接，实现车内环境的智能调控。例如，根据乘员的状态调整车内温度、灯光等。

关键技术

多摄像头系统：实现车内环境的全方位监控。
智能分析：通过深度学习算法分析车内情况，提供智能化的安全预警和环境调节。
传感器融合：结合多种传感器数据，提高系统的感知能力和精度。

法规要求与业界现状

欧盟：欧盟目前对RMS系统的法规尚在制定中，但预计未来几年内将出台相关要求。
中国：中国在《智能网联汽车技术路线图》中提出了未来RMS系统的发展方向，强调其在提升车内安全性和舒适性方面的重要作用。
北美：北美市场对于RMS系统的需求主要集中在豪华车和特殊用途车辆上，相关法规还在探讨中。

3、OMS的法规相关

法规要求

出于公共出行安全考虑，欧盟和中国均出台法律法规，国内已率先对"两客一危"等商用车车型安装DMS系统作出强制要求，乘用车搭载要求也在推进制定中。

安全法规Regulation(EU)2019/2144(简称新GSR)中，驾驶员嗜睡和注意力警告系统DDAW
安全法规Regulation(EU)2019/2144(简称新GSR)中，驾驶员分心警告系统ADDW
ENCAP 2023中 Driver State Monitoring systems (DMS)

EuroNCAP五星安全评级要求

DMS成为Euro NCAP五星安全评级的关键要素，而且是必要条件，这两年很多公司开启了DMS供应服务，不过鲜有盈利，但DMS已经成为新车型的标配功能。

智能化体验升级

DMS融合ADAS、舱内生活场景，催化出一些列智能化的场景体验，迅速拉升用户体验。

欧盟GSR II法规中明确规定，2024年7月起乘用车新车型需强制搭载ADDW（先进驾驶员分心检测系统），而所有新车则强制安装DDAW（驾驶员疲劳与注意力检测系统）；至2026年7月，所有乘用车新车将统一强制搭载ADDW系统。回看国内，2024年7月开始实施的最新版C - NCAP 管理规则首次将 DMS 纳入主动安全评价框架，并为 DMS（包括疲劳监测、注意力监测）赋值2分。将于 2026 年 1 月实施的新版 Euro-NCAP 规程里，驾驶能力受损检测范畴进一步扩大。其中，酒精和药物使用被列为关键影响因素，这就意味着汽车舱内监控系统需要通过分析驾驶员行为指标，识别出其是否存在酒精或药物使用迹象，并据此有效评估驾驶能力的受损程度。与此同时，各国在酒驾防控方面也相继出台有力举措。2024 年夏季，德国便已强制要求新车预先配备酒精锁接口，以便后续改装酒精锁系统；美国《基础设施投资和就业法案》规定，自 2026 年起，在美国境内投入使用的车辆必须加装能够侦测并杜绝酒驾行为的监控设备，实时判断驾驶员是否处于酒驾状态。

4、OMS的功能

FACE ID、手势识别、体征监测、远程监控 DMS的核心功能当前DMS的主要功能包括疲劳检测、醉酒检测、分心检测和危险行为检测等，主要通过对于驾驶员的面部五官、人体体征和身体行为三个方面来进行检测。面部五官的检测包括眨眼的频率、眼睛的开合度、打呵欠的频率、面部朝向等；体征的检测包括心率、脉搏和体温等；身体行为的检测则包括对于驾驶人的手、胳膊等行为进行判断。 DMS的核心功能只有三个，疲劳监测、分心监测、危险行为监测。疲劳监测：行车过程中，摄像头对驾驶员的闭眼和打哈欠行为行进行采样；DMS结合行车时间、行车速度等因子，来判断驾驶员是否疲劳和疲劳等级。系统根据疲劳等级，发对应的警告给驾驶员，如声音警报、语音警报、安全带收紧、仪表警报等。分心监测：行车过程中，摄像头对驾驶员的视线偏移、及人脸角度偏移进行采样；根据偏移的角度阈值，进行判断；触发偏移阈值开始计时，根据时间长短来判断分心等级，并给予相应的提示，如声音警报、语音警报、安全带收紧、仪表警报等。危险行为监测：危险动作检测包含驾驶员抽烟、打电话、饮食等行为。

OMS的核心功能智能座舱舱内感知技术（Occupant Monitoring System，OMS）是一种基于传感器和人工智能技术的系统，旨在监测车内乘客的状态和行为，并根据监测结果提供相应的服务和保障。OMS通常包括车内儿童存在检测、生命体征检测雷达以及其他相关应用功能。

ROA（rear occupant alert）后排占位检测系统毫米波雷达安装在车顶可感知整个座舱区域、探测目标并对其进行高精度分类和生物特征的监测，监测车内人数。
CPD（children present detection）儿童存在探测功能防止儿童以及宠物被遗留在车内而发生意外，一旦有儿童被遗留在车内，系统会输出报警信息给驾驶员。
SOD（seat occupancy detection）占位检测功能可以探测到车内哪个位置被占用，并可输出占用信息给车辆，该信息可作为其他功能的二次开发依据。

车内儿童存在检测：OMS能够通过传感器监测车内是否有儿童存在，从而及时提醒驾驶员注意车内的安全情况，防止意外事件的发生。生命体征检测雷达：OMS采用生命体征检测雷达技术（如UWB或毫米波雷达），能够实时监测乘客的生命体征数据，如心率、呼吸等，以便及时发现乘客的异常情况并采取相应措施。其他应用功能：除了以上两种基本功能外，OMS还可以支持一系列其他应用功能，如车内视频会议系统、安全支付系统以及人工智能助手融合感知系统等，为乘客提供更加便利和安全的出行体验。智能座舱舱内感知技术主要依靠传感器和人工智能技术实现对车内环境的监测和分析。其中，生命体征检测雷达是实现座舱内生命体征监测的关键技术之一。此外，为了保证在不同光照条件下都能正常工作，OMS还需要支持RGB-IR双波段工作模式，并配备红外补光灯。生命体征检测雷达技术：生命体征检测雷达通常采用UWB（Ultra-Wideband）或毫米波雷达技术，通过发送和接收无线信号，实时监测车内乘客的生命体征数据。这些数据可以包括心率、呼吸频率、体温等指标，通过对这些指标的分析，可以及时发现乘客的异常情况并采取相应措施，保障乘客的安全和健康。 RGB-IR双波段工作模式：为了保证在座舱环境内任何光照强度下都能正常使用，OMS一般要求支持RGB-IR双波段工作模式。这种模式下，OMS可以同时使用可见光和红外光进行检测，从而在不同光照条件下都能够准确地监测车内乘客的状态和行为。红外补光灯：为了在夜间或光照较弱的环境下实现座舱内的监测，OMS通常需要配备红外补光灯。这些红外补光灯可以发射红外光，从而提供足够的光照条件，确保OMS能够准确地监测车内乘客的状态和行为。 OMS的技术原理与之类似，但被检测的主体变成了车内乘客，因此更为看重对乘客的隐私保护。OMS的方案中通常会采用3D ToF的方案来取代视觉传感器，同时配合毫米波雷达的体征检测功能，实现乘客的体征识别，从而进行个性化的座舱内场景设置。譬如检测儿童是否安坐在安全座椅上，儿童或宠物是否单独留在车内，乘客的情绪状态等等。儿童看护：通过综合分析人脸属性、人体骨骼比例以及身长信息，能够准确判断成人与儿童。当识别到儿童，系统将主动触发儿童看护功能，持续对儿童进行状态、行为监测，并实时反馈给前排家长，提醒其采取必要措施。人机交互：打通前后排的互动空间，借助视线、手势、头部动作等多种自然身体语言的交互方式，可实现多人多位置便捷互动。结合相机几何和人脸关键点计算人头位姿，利用深度学习模型提取人眼特征信息，实现视线估计，可实时分析驾驶员注视行为，如正视前方，查看左右后视镜和观察中控屏等，从而实现驾驶员分心状态检测以及视线点亮中控屏等人机交互功能。通过静态、动态手势检测，支持12种静态手势识别，7类动态手势识别，精准定位手部关键点，响应速度快、提升车内交互体验。通过视觉，可以实现的OMS功能有：

乘客占位和属性检测：实时统计车内人员数量，准确标识乘客入座位置，帮助掌握车辆载客情况。精准识别年龄、性别、情绪等多种人脸属性信息，分析乘客面部表情，有效规避司乘冲突。
遗留物品检测：实时检测舱内后座画面，结合下车信号有效分析乘客随身物品的遗留情况，并根据业务策略给予告警系统。可精准检测手机、钱包、女士手袋等数十种随身物品，且支持一站式自定义物体品类训练。
遗留儿童检测：实时监测舱内后座区域，结合下车信号精准判断后座区域是否存在儿童遗留，并根据业务策略将儿童感知数据传输至告警系统，全面保障乘客的出行安全。
遗留宠物检测：准确分析后座区域是否存在活体宠物遗留，并根据业务策略及时发送预警信息；支持识别多品种宠物猫和宠物狗，能有效抵御毛绒玩具等假体攻击。

雷达传感器（包括毫米波雷达、超声波雷达、UWB雷达）具有穿透固体物质的能力，可以更精确地检测无人照管的儿童、监测乘员状态、预估驾驶员的生命体征，在舱内监控中的应用有望扩大。可检测车中指定区域内有无活体目标，尤其是后排遗留儿童检测，具有性能高、体积小、重量轻等特点。成员检测雷达一般安装在汽车天窗附近，隐藏在顶棚内部。当车辆驻停后，雷达可自动检测车内后排座椅上的目标信息，一旦发现存在滞留儿童，迅速发出报警信号，同时还可以启动通风系统等辅助救助装置，从而达到保障乘车儿童人身安全的目的。 IMS 相对于DMS和OMS而言，IMS是一个比较新的概念。In-cabin monitoring System即汽车座舱的智能视觉监控系统。通俗来讲，IMS既包括DMS、OMS，也包括FACE ID、手势识别、体征监测、远程监控等。

5、OMS的布置位置

DMS的布置位置摄像头的位置具有灵活性，可以安装在包括仪表盘、方向盘柱、左右侧A柱或内后视镜。其中正对驾驶人脸角度的转向柱和仪表盘位置，是效果最好的，A柱其次，舱内后视镜也勉强可以。

6、OMS技术要求

Ref：https://www.mouser.cn/blog/cn-auto-driver-occupant-monitor

可覆盖车内全区域，体积小，低成本，低功耗，< 1%误报率与0漏报率，可实现ROA第二排占位探测与第三排活体探测, DMS驾驶员心跳呼吸检测。