摘要
自动驾驶在预防事故方面发挥着关键作用，现代车辆配备了多模态传感器系统以及人工智能驱动的感知和传感器融合技术。然而，由于各种退化因素，这些功能在车辆的使用寿命内并非稳定不变。这带来了一种固有的但尚未得到解决的风险：一旦车辆投入使用，其各自面临的环境影响会导致不可预测的运行状态。本文旨在提高人们对汽车传感器退化问题的认识。传感器退化存在多种影响，这些影响共同作用可能会对基于人工智能的处理过程产生严重影响，并最终影响用户使用领域。本文采用失效模式与影响分析（FMEA）类方法，以全面涵盖相关的汽车传感器退化影响。涉及的传感器包括摄像头、雷达、激光雷达（LiDAR）以及其他模态的传感器，既包括车外传感器，也包括车内传感器。传感器本身的稳健性是一个众所周知的话题，设计验证（DV）和过程验证（PV）已对此进行了研究。然而，这还远远不够，本文将探讨各种退化情况，这些退化远超当前测试的环境应力场景。此外，传感器退化及其对人工智能处理的影响被确定为一个验证缺口。本文还对未来的分析方向以及检测相关传感器退化的方法进行了展望。
1、问题陈述与认识
零愿景（Vision Zero）
道路死亡人数仍然居高不下。根据文献，每约 23 秒就有一人在公共道路上死亡，每天导致约 4000 人死亡。在一些地区，死亡人数似乎趋于稳定，但仍远高于零。而在其他地区，死亡人数正不断上升，如图 1 所示。可以说，零愿景仍任重道远。
图 1、基于世界卫生组织 2018 年报告的道路死亡数据
创新
过去几十年中，先进驾驶辅助系统（ADAS）的重大创新极大地帮助减少了道路死亡人数。这些创新还包括 20 世纪 50 年代先进底盘和碰撞测试的引入、20 世纪 70 年代安全带的强制使用、20 世纪 80 年代安全气囊的问世等。欧洲新车安全评鉴（Euro NCAP）也于 2011 年将电子稳定程序（ESC）、2014 年将自动紧急制动（AEB）纳入安全评级体系。文献中描述了自动驾驶（AD）面临的挑战。
传感器：最新一代传感器的读出噪声低于 1 电子伏特（e⁻），且在红外光谱范围内（适用于主动照明应用，例如车内场景）的量子效率（QE）曲线有所提升，这些例子表明传感器技术已接近其物理极限。其他模态的传感器（雷达、激光雷达等）也存在类似情况。此外，高分辨率固态激光雷达等新型传感器也已问世。文献对此进行了全面概述。
人工智能：在算法层面，人工智能驱动的方法极大地提升了检测和分类能力，有时甚至实现了超越人类的性能。在组件和系统层面的巨大研发投入正日益接近当前的技术极限。
标准化：诸如 IEEE P2020等标准化工作对于客观量化汽车图像质量性能至关重要。以不依赖于算法和供应商的方式评估传感器数据流，有助于客观确保传感器数据流包含足够的对比度 / 信息，从而使后续的人工智能单元能够顺利进行分类。正如一位作者在 IEEE P2020 相关背景中所述："图像质量（IQ）可能决定生死"。
盲点：传感器退化
尽管在系统设计方面投入巨大，但一旦车辆投入使用，其运行状态在很大程度上只能依靠自身，这导致了以下盲点：先进驾驶辅助系统（ADAS）和自动驾驶（AD）系统从根本上依赖于底层传感器系统和组件的稳健性和可靠性。即使现代车辆具备最先进的安全功能，传感器退化带来的固有风险仍未得到解决，这对车辆乘客以及弱势道路使用者（VRUs）构成了威胁。人工智能和深度学习的非线性特性使其对传感器退化影响尤为敏感，从而进一步加剧了这种风险的严重性。
为什么传感器退化至关重要？
图 2 展示了一个通用的先进驾驶辅助系统（ADAS）流程，包括传感器层、特征层和功能 / 动作层。传感器退化会导致信息出现偏差、失真或缺失，进而可能导致先进驾驶辅助系统（ADAS）出现意外故障。对于自动紧急制动（AEB）系统而言，这可能导致漏检率增加（制动过晚或完全不制动）和 / 或误检率增加（误触发制动）。
图 2、通用先进驾驶辅助系统（ADAS）/ 自动驾驶（AD）系统流程。退化传感器导致的输入偏差及其传播会引发系统故障
哪些传感器退化影响是相关的？
并非所有传感器退化影响在用户功能领域都具有相关性。本文建议重点关注退化在用户功能领域造成的结果，而非传感器本身。显然，这在很大程度上取决于成像系统的其他处理流程。类似于音频领域的 MP3 格式，如果某种退化影响（例如摄像头彩色滤光片阵列的色偏）不会对最终的先进驾驶辅助系统（ADAS）/ 自动驾驶（AD）功能产生影响，则可以忽略不计。然而，某些轻微的退化可能会因下游先进驾驶辅助系统（ADAS）/ 自动驾驶（AD）处理过程严重依赖特定的图像质量特性而产生显著影响（例如挡风玻璃上的特定划痕）。
2、相关工作------当前进展及不足
传感器和先进驾驶辅助系统（ADAS）/ 自动驾驶（AD）系统退化的定期技术检查（PTI）现状如何？
定期技术检查（PTI）涵盖了主要的机械退化情况（例如刹车系统），但尚未涉及传感器退化或由此导致的系统级退化问题。
传感器领域与功能领域
据我们所知，现有研究仅关注传感器领域，而忽略了传感器领域与功能领域之间的关联。只有当传感器退化被证实会对功能领域产生影响时，才会被认定为相关退化。此外，现有研究仅专注于检测此类退化本身，而未系统评估其与功能领域之间的关联。
故障树分析（FTA）------ 可能发生哪些传感器退化？
在使用多维且高度复杂系统的行业中，数十年前就已建立了结构化方法，以确保全面覆盖问题（及解决方案）范围。本研究提出了一种围绕可能的故障原因展开的结构化方法。在有限情况下，这些故障原因的影响是可量化的。将这些潜在故障原因进行映射，可形成结构化的故障树分析（FTA）。图 4 概括性地展示了先进驾驶辅助系统（ADAS）和自动驾驶（AD）系统的整体故障树分析（FTA）。当前密集的研发工作主要集中在该故障树的右侧分支 ------ 催生了众多提升安全性的创新技术。例如，人工智能在汽车领域的兴起极大地改进了检测 / 分类系统，尤其降低了漏检率。最新的传感器技术也改善了传感器模态不匹配的问题。此外，扩展功能安全（FuSa - ISO26262）和预期功能安全（SOTIF - ISO21448）也取得了相应进展。图 4 中故障树的左侧分支显示了已识别的潜在缺口：如果存在相关传感器退化，且车载自诊断系统（例如堵塞检测、在线校准自诊断）产生漏检（即认为传感器数据流正常），那么退化的传感器输入将在未被识别的情况下进入先进驾驶辅助系统（ADAS）处理流程，这可能导致预期功能的整体失效。
图 3、故障树分析（FTA）：左侧为已识别的缺口和研究重点；右侧为传统研发重点
图 4、传感器校准相关的故障树分析（FTA）：左侧为已识别的缺口和研究重点；右侧为传统研发重点
传感器校准退化的故障树分析（FTA）
图 4 展示了传感器校准相关的故障树。不同的校准因素会影响先进驾驶辅助系统（ADAS）的整体系统级性能。大多数对精度有高要求的最先进系统（当前所有先进驾驶辅助系统（ADAS）和自动驾驶（AD）系统均属此类）可能会出现检测角度错误或内参校准数据错误的情况。不正确（例如过时）的内参校准所使用的参数会输入到处理流程的相机模型中。内参数据可能会受到传感器特性（例如相机本身）的影响，并与传感器光路（例如光学路径）内的几何变化相关。如果外参数据过时或完全错误，将严重影响外参校准的准确性。在维修或更换挡风玻璃后更换 / 拆卸传感器时，传感器相对于车辆坐标系的位置至关重要。这是初步分析的重点，因为它可能会对先进驾驶辅助系统（ADAS）产生严重影响，可能出现高达 ±3° 的偏差。校准流程通常会伴随自检 ------ 即自诊断功能。然而，自诊断功能存在诸多局限性，仅能进行简单的合理性分析，可能会被有意或无意地欺骗。如果在维修后更换了传感器，可能会出现传感器（及适用的校准目标）安装不当的情况，导致系统认为校准成功但实际并未成功。我们将此称为 "良好校准" 与 "成功校准" 的区别。"成功校准" 意味着传感器已完成校准且所有功能已启用，但我们并不清楚校准质量的优劣，即校准值与真实世界值的吻合程度。而 "良好校准" 则指校准值与真实世界数据一致（或误差在系统可接受范围内），其典型误差范围在 ±0.2° 或以下。
传感器退化的失效模式与影响分析（FMEA）方法
为确保全面覆盖相关传感器退化情况，本文提出了一种类似失效模式与影响分析（FMEA）的方法。将不同技术模态的传感器映射到部分重叠的故障类别中。下表展示了每种传感器模态 / 系统的相关关键组件的非穷尽映射。最先进的先进驾驶辅助系统（ADAS）或自动驾驶（AD）系统采用了多种传感器模态，包括摄像头、雷达和激光雷达。文献仅描述了摄像头传感器层面的退化示例。当前的传感器还具备堵塞 / 污染检测功能，这与自诊断系统类似，容易被欺骗，且通常仅能检测严重堵塞情况。文献进一步讨论了激光雷达传感器的堵塞问题。
表1、故障树分析（FTA）表：在整个处理流程中，不同先进驾驶辅助系统（ADAS）/ 自动驾驶（AD）传感器模态的关键组件可能受到怎样的影响
3、车辆生命周期中的传感器退化分析
当前，行业已采取多项措施确保传感器按规格运行，但重点仍集中在研发周期内。所谓的设计验证（DV）和过程验证（PV）被用于开发稳健的传感器。在详尽的测试过程中，会对少量样本模拟车辆的使用寿命。然而，这些测试缺乏系统级的交互分析，也未考虑软件（检测器、路径规划）与传感器之间的交互。因此，无法进行真正的端到端分析。此外，人工智能还引发了新的风险，因为传感器可能会对微小的输入变化产生非连续响应（"蝴蝶效应"）。尤其是在车辆使用寿命内，人工智能系统输入的是存在偏差的传感器数据，而其训练仅使用了新传感器的数据，这会导致人工智能系统处理的数据域与训练时不同（存在缺陷）。目前，尚未系统覆盖大规模的真实世界影响（例如传感器拆卸 / 更换后的校准偏差）及其对系统级性能的影响。
传感器退化 ------ 传感器层面（输入端）可能出现哪些问题？
传感器层面可能出现多种故障。塞西等人概述了摄像头层面的此类故障及其对自动驾驶（AD）的影响。这些影响可分为以下两类：
· 传感器几何退化（例如校准偏差）
· 传感器信号退化（例如彩色滤光片阵列（CFA）的色偏）
校准偏差可能由多种因素引发，例如：
· 传感器更换或安装错误（例如挡风玻璃维修后）
· 车辆本身的变化（例如事故后或车辆在使用寿命内变形导致部件移位）
· 传感器支架的老化
· 新校准数据存储故障（例如电气故障）
· 在线校准与专业校准（原厂下线时或专业更换部件 / 传感器后进行）不匹配
· 其他多种因素
然而，核心挑战仍然是这些故障对系统级性能和运行状态的实际影响尚不明确。只有当退化对最终阶段（用户或车辆领域）的影响可被感知时，该退化才具有相关性。例如，对于自动紧急制动（AEB）系统，校准偏差可能导致误触发警报、制动信号生成过晚或完全遗漏，从而引发事故。
人工智能敏感性 ------ 对抗性攻击
近期的研究表明，通过在传感器领域进行微小改动，有可能欺骗人工智能系统。我们系统地将风险分为四类，如图 5 所示。尤其是涉及未知因素的情况（对抗性风险和开放类别风险），处理起来极具挑战性。
图 5、源自文献的四类风险。存在偏差的传感器数据流可能导致特征空间中某些区域的采样覆盖率较低或为零
4、关键绩效指标（KPI）建议
退化关键绩效指标（KPI）------ 宏观层面
本文提出了一种基于关键绩效指标（KPI）的方法。正式定义可衡量传感器和系统退化的关键绩效指标（KPI）至关重要。在汽车成像领域，IEEE P2020在摄像头系统图像质量评估中发挥着关键作用。在宏观层面，可通过受试者工作特征（ROC）曲线的偏移来评估退化情况，如图 6 所示。对于退化 Δ(C)=A-A'，存在以下关系：
在微观层面，针对 ROC 曲线上的特定工作点评估退化的影响。从根本上讲，这涉及到功能关键绩效指标（KPI）（例如真阳性率 / 假阳性率）相对于传感器退化关键绩效指标（KPI）（传感器领域）的导数。
图 6、受试者工作特征（ROC）曲线及传感器系统退化的定性影响
额外的退化关键绩效指标（KPI）------ 微观层面
本文还提出了额外的微观关键绩效指标（KPI），有助于量化诸如摄像头校准偏差等退化的影响。建议的关键绩效指标（KPI）包括：
· 首次检测帧数 ------ 检测器首次检测到目标物体的帧数，可用于比较真实情况与受影响的传感器数据流
· 漏检帧数 ------ 在真实情况与受影响的传感器数据流之间，检测器漏检的帧数
· 高置信度帧数 ------ 在真实情况与受影响的传感器数据流之间，检测器输入的置信度高于特定阈值的帧序列
· 距离估计 ------ 传感器退化（尤其是校准偏差的传感器）可能导致对目标物体距离的误判，这对于摄像头等二维传感器尤为明显
· 检测置信度偏差 ------ 在真实情况与受影响的传感器数据流之间，帧序列的检测置信度差异
还可根据具体场景引入其他关键绩效指标（KPI）。通过这种方式，可以了解退化机制在整个处理流程中的实际影响。
5、退化分析实验设置
研究背景
在车辆生命周期的特定时刻会进行内参和外参校准。内参校准在传感器生产过程中执行，尽管摄像头的镜头映射会随温度变化，导致视场角与像素的映射关系并非恒定，但通常假设内参不受环境变化影响。外参校准通常在车辆生产下线时进行，并在更换相关组件（例如传感器、挡风玻璃）时重复进行。此外，部分传感器系统支持无目标在线校准机制，以更新其外参校准数据。剩余的风险在于，校准流程可能执行成功，但实际校准数据本身并不准确（图 7）。例如，对于基于目标的外参校准，如果目标放置准确这一基本假设未得到满足（因为传感器与车辆的校准通过 "传感器到目标" 和 "目标到车辆" 的间接方式实现），就会导致校准数据不准确。
图 7、校准矩阵 ------ 自诊断与实际情况对比。校准成功并不意味着校准一定准确，这一风险仍然存在
在初步分析中，我们重点关注与外参校准相关的影响。外参校准用于确定传感器在车辆整体坐标系中的姿态和位置，这是每个传感器都必须进行的操作。基于 SAE 4 级及以上的自动驾驶系统需要每天进行重新校准。
因此，我们提出以下实验设置：
实验设置概述
软件在环（SIL）架构概述
图 8 展示了所提出的软件在环（SIL）方法，该方法支持结构化比较。
图 8、软件在环（SIL）实验设置。上方：原始流程；下方：模拟退化流程；右侧：基于关键绩效指标（KPI）的影响分析
真实世界汽车传感器数据采集设置
为确保汽车分析的相关性，真实世界的传感器数据至关重要。为此，我们选择了一辆特斯拉 Model 3（2020 款，全自动驾驶 3.0 版本，传感器配置参见文献），在 12 个月的时间内采集了其 4 个摄像头（前视、两个侧后视和后视）的数据。这形成了一个具有代表性的数据集，涵盖了所有典型的环境变化及其组合（阳光、弱光、雨天、雪天）。
检测器
我们评估了多种目标检测算法，包括 YOLO v3 和 YOLO v4。YOLO 已成为高效且高性能检测器的事实标准。如博奇科夫斯基等人所示（图 9），YOLO v4 被视为汽车嵌入式处理中极具速度和准确性的最先进目标检测器。
图 9、基于 MS COCO 目标检测数据集的各种目标检测器的平均精度（AP）。YOLO v4 被视为性能更优的检测器，在汽车嵌入式实时计算中具有重要意义
尽管我们的框架不依赖于特定的检测器，但我们仍选择了 YOLO v4 这类最先进的检测器，以避免对端到端流程造成限制。因此，系统级的退化并非由不完善检测器的特定局限性导致，而是传感器退化的根本结果。
初步结果
如前所述，外参校准可能引发多种故障模式。在本研究中，我们进行了多项真实世界测试，以将可能的故障与相关类别和关键绩效指标（KPI）关联起来。我们发现的类别包括：
· 距离估计故障 ------ 校准传感器的俯仰角错误会导致碰撞时间（TTC）估计误差，因为碰撞时间（TTC）基于距离估计。对于摄像头等无法进行三维距离估计的二维传感器，情况尤其如此。
· 路径规划 ------ 横滚角或偏航角错误可能导致碰撞分析 / 检测过晚。
· 目标漏检 ------ 校准通常与图像中的感兴趣区域（ROIs）结合使用，以根据相关碰撞和安全测试场景限制检测区域。应用错误的感兴趣区域（ROIs）可能导致目标漏检。
· 对检测器的影响 ------ 校准故障可能导致阈值变化，并影响检测器本身高度复杂的训练过程，进而导致不同的检测性能。
在研究中，我们对每个欧拉角使用了高达 ±3.0° 的不同角度误差。以下真实世界数据说明了角度误差的影响（参见图 10、11、12、13、14）。
图 10、（左图）自车前置摄像头拍摄到的卡车（真实情况）。所示卡车位于自车的行驶路径上。（右图）应用了错误的摄像头校准，但系统本身仍可能认为校准 "成功"。这可能导致紧急制动事件触发过晚，无法避免事故发生
图 11、相应的关键绩效指标（KPI）图显示了检测到的卡车的 y 坐标随帧数的变化。蓝色和红色曲线分别对应左图和右图，表明校准偏差的摄像头的 y 坐标明显不同（这直接对应于距离估计错误）
图 12、这是另一个真实世界示例，展示了碰撞时间（TTC）如何可能因弱势道路使用者（VRU）而产生误判
图 13、（左图）自车前置摄像头检测到的行人（真实情况）。（右图）应用了错误的摄像头校准（偏航角和横滚角），但系统仍认为校准 "成功"。校准偏差的设备未检测到该行人。即使检测到行人，其轨迹本身的估计和预测也可能导致碰撞检测过晚
图 14、如本示例所示，错误的校准还可能排除某些目标物体。通常用于从检测器中排除特定区域的扩展感兴趣区域（ROIs）可能会阻止检测的进行
结果结论
我们的初步系统分析展示了真实世界数据中的预期行为。基于敏感性的分析还表明，这些影响可能导致主动安全或自动驾驶系统出现系统性故障。软件在环（SIL）方法框架支持进行系统分析，随后可扩展至分析其他更复杂的影响，以建立输入（传感器）领域与用户领域（例如真阳性检测甚至制动信号）之间的映射关系。
6、结论与展望
本综述文章表明，生命周期影响可能会对先进驾驶辅助系统（ADAS）和自动驾驶（AD）系统的整体系统级性能产生重大影响。核心挑战在于，这些影响仅在输出领域（或用户领域）具有相关性 ------ 对应于驾驶和决策信号，而传感器影响作用于输入领域。深度学习等人工智能算法进一步增加了整体复杂性。随着车辆安全技术日益复杂，维修或更换挡风玻璃后对传感器进行良好外参校准的需求也日益增长，先进驾驶辅助系统（ADAS）的正常功能依赖于此。虽然使用正确的工具完成 "成功校准" 相对容易，但如果校准操作不当，车载软件可能会错误地确定与车辆相关的参数。正如我们的传感器在环方法所展示的，"成功校准" 可能导致先进驾驶辅助系统（ADAS）未按预期运行，进而可能导致与弱势道路使用者（VRUs）发生碰撞。未来将开展进一步研究，以系统分析传感器信号退化的影响。此外，还计划进行车辆级别的真实世界测试，以将传感器退化的影响映射到相关测试场景中。