标定（Calibration）00-3：自动驾驶常用传感器Camera / LiDAR / Radar / IMU / GNSS 各自解决什么问题？

引言

自动驾驶汽车要想在复杂多变的道路环境中安全行驶，首先必须能够**"看懂"周围世界**。这依赖于强大的感知系统，将外界环境转化为机器可用的信息。当前自动驾驶系统常用五大传感器 ：摄像头（Camera）、激光雷达（LiDAR）、毫米波雷达（Radar）、惯性测量单元（IMU）和全球卫星导航系统（GNSS）。它们各有所长，也各有短板。例如，摄像头能获取丰富的颜色和纹理信息，但夜间或强光下效果不佳；激光雷达提供精准的三维距离测量，但在雨雪雾等天气中性能下滑且成本高昂；雷达对速度测量和恶劣天气具有强鲁棒性，但分辨率相对较低。因此，没有任何单一传感器能够包打天下 。自动驾驶感知系统通常采用多传感器融合，组合多种互补的传感器构成"传感器套件"，以形成冗余并提升环境感知的可靠性和精度。

本文将围绕这五大传感器展开，深入剖析各自的工作原理 、感知能力 与局限，并介绍每类传感器的典型硬件与代表厂商 。接着，我们将解析自动驾驶领域常用的核心算法 （如 LiDAR SLAM、GNSS-IMU 融合定位、Radar 点云聚类与跟踪）的数学建模，以及多传感器感知融合 的经典深度学习结构（如 BEVFusion、CenterFusion、DeepFusion）。随后，对比国内外主流自动驾驶企业（特斯拉、Waymo、小鹏、百度 Apollo、Momenta）的传感器方案差异。文章最后将讨论自动驾驶感知在工程落地中的关键挑战 与实践建议 （包括时间同步、坐标系管理、冗余策略、标定维护等），并总结五大传感器在不同 ODD（运行设计域）下的协同分工和配置推荐。希望本文能为读者提供一篇全景式的技术指南。

一、五大传感器的原理、感知能力与短板分析

自动驾驶感知所需的传感器主要包括视觉传感器 （摄像头）、激光传感器 （激光雷达）、雷达传感器 （毫米波雷达）、惯性传感器 （IMU）和定位传感器 （GNSS）。它们分属于不同的物理测量原理：摄像头和激光雷达基于光学，毫米波雷达基于电磁波雷达原理 ，IMU 基于惯性力学 ，GNSS 则基于卫星无线电测距。下面我们分别介绍每一种传感器的工作原理、擅长领域以及存在的不足。

1. 摄像头（Camera）

工作原理：摄像头是利用光学镜头将可见光或近红外光线投射到光电传感器上成像的装置，相当于汽车的"眼睛"。车载摄像头通常为CMOS 图像传感器 ，能以高速捕获高分辨率的二维图像序列。根据视野范围和焦距不同，自动驾驶车辆上会配备不同类型的摄像头（例如前视长焦摄像头用于远距目标，中短焦广角摄像头用于近处环视，以及环视鱼眼摄像头用于停车环境）。通过深度学习的计算机视觉算法，摄像头图像可用于检测车辆、行人、交通标志、信号灯、车道线等大量语义信息。

感知能力：摄像头具备极高的分辨率 和丰富的语义感知能力。它能识别物体的颜色、形状、纹理和文字信息，这对于交通灯识别、道路标志识别、可行驶区域分割等任务是其他传感器无法替代的。多目摄像头（如立体双目或多目阵列）还可以通过视差测量获得三维深度感知，用于立体视觉测距和三维重建。相机的角分辨率通常远高于雷达或激光雷达，这意味着在理想光照条件下，摄像头可以探测和识别非常小且远的物体，比如远处的道路指示牌。由于摄像头直接获取可见光图像，其输出对于人类也具有可解释性，可以直观地验证自动驾驶系统看到了什么。

局限与短板：摄像头的弱点 在于对环境条件高度敏感，存在多种失效场景。首先，摄像头依赖外界光线，夜间弱光 或逆光炫目 时图像质量会显著下降。强烈的阳光直射、镜头眩光、或者前车车灯造成的曝光不良，都会让摄像头"看不清"。其次，在雨雾雪等恶劣天气 下，摄像头视野容易受遮挡或模糊，而无法可靠感知环境。再次，摄像头本身缺乏直接测距能力 ，单目相机需要借助视差估计或物体识别的先验才能推测距离，不像激光雷达那样天然输出精准距离。即使是双目/多目相机，测距精度也受制于基线长度且随距离平方级下降。此外，摄像头视场有限且存在盲区，需要多摄像头组合才能实现全车环视；即便如此，遮挡问题仍会导致部分目标无法被视觉捕获。最后，摄像头输出数据量大，处理其高分辨率图像对计算单元是巨大压力。

小结：摄像头在自动驾驶中主要解决的是车辆对 "视觉语义 "的感知问题：它让机器能够像人类一样"看见"车道线、交通灯、行人、车辆类型等关键信息，这是其他传感器无法直接提供的。但摄像头无法可靠提供精准距离速度，且易受环境干扰。因此，在自动驾驶感知中，摄像头通常与测距类传感器配合使用，以实现优势互补。

2. 激光雷达（LiDAR）

工作原理：激光雷达（Light Detection and Ranging）通过发射脉冲激光 并测量返回时间来获取与周围物体的距离，从而获得环境的三维点云。典型车载激光雷达由高速旋转的激光发射器和接收器组成：发射器以一定频率发出激光束，遇到物体表面反射回接收器，设备通过测量飞行时间（Time of Flight）计算出距离。机械式激光雷达通常通过旋转棱镜或转盘 实现360°环绕扫描，每秒可发射数十万至数百万个激光脉冲，形成高度稠密的三维点云地图。随着技术进步，出现了固态激光雷达（MEMS 微振镜式、OPA 光学相控阵式等）以减少机械部件。激光雷达测距精度可达厘米级，角分辨率随型号不同在0.1°量级甚至更优，非常适合重建周围环境的三维几何结构。

感知能力：激光雷达的最大优势 在于能够直接输出高精度的三维距离信息 。在有效探测范围内（典型车规激光雷达探测半径100~300米），点云能够准确反映障碍物的轮廓和位置。与基于被动光学成像的摄像头不同，激光雷达自带主动照明，不依赖环境光线，因而在夜间依然可以正常工作（只要不是浓雾等极端情况）。空间测绘 是激光雷达擅长的任务：通过SLAM（同时定位与建图）算法，车辆可以利用激光雷达点云构建高精度的环境地图，实现自身定位和障碍检测。相比毫米波雷达，激光雷达的角向和距离分辨率都要高出一个数量级以上，能够分辨细小物体和复杂形状 。例如路上的小型残骸、立柱、倒下的自行车等，激光雷达往往可以探测到其3D形状，而毫米波雷达可能因为分辨率限制无法区分。此外，激光雷达点云为感知算法提供了稠密的结构信息 ，可以直接用于三维物体检测、分割等任务，在感知精度上带来提升。

局限与短板：激光雷达目前面临的主要挑战是成本、可靠性和环境适应性 方面的短板。首先，机械式激光雷达价格昂贵且结构复杂，不利于大规模量产和车规可靠性要求。虽然固态方案在推进，但高性能的车规激光雷达仍然单价数千美元以上（近年来有下降趋势）。其次，激光雷达依赖光学原理，在雨、雪、雾、尘 等介质环境下性能会明显下降。大雨或大雾会造成激光信号的散射和衰减，大量噪声点出现，甚至探测不到远距离物体。再次，激光雷达的探测视场通常有限，例如大多车顶激光雷达垂直视场在30°上下，对非常近的地面盲区或特殊角度可能无法覆盖，需要额外补盲传感器。还有一个实际问题是数据处理量大：一秒几十万点的点云给感知算法带来不小的计算压力，需要高效的点云处理算法和硬件加速。最后，激光雷达对于某些材质表面的反射率较敏感，例如深黑色物体可能反射激光弱、导致点云稀疏，镜面反射物体可能造成测距异常。这些都需要算法层面加以处理。

小结：激光雷达在自动驾驶中主要解决"精确距离与三维成像"的问题 。它提供了高精度的3D点云，使车辆能够"看清"周围物体的距离、形状和尺寸。在地图构建与精准定位、检测静态障碍物方面，激光雷达是极其有效的传感器。然而受限于成本和天气影响，它通常与其他传感器（摄像头、雷达）结合使用，在需要高可靠性的 L4/L5 系统中扮演关键角色。

3. 毫米波雷达（Radar）

工作原理：车载毫米波雷达通过发射毫米波波段（一般24GHz或77GHz）的电磁波 并接收反射回波来探测物体。雷达通过测量回波信号的多普勒频移 和相位差 ，可以解算目标物的相对速度、距离和方位角 。典型汽车毫米波雷达采用**FMCW（调频连续波）**技术：发射端发出线性调频信号，接收端将回波与参考信号混频，得到频率差，从中提取目标距离和速度信息。通过阵列天线和波达方向算法，雷达还能估计目标的方位角。车上一般安装多枚毫米波雷达：长距离雷达 （前向，探测前方200米范围车辆目标），中短距离雷达（车四角/侧后，用于盲区监测、侧向来车等）等。最新的所谓"4D成像雷达"增加垂直维度的分辨能力，输出稠密点云，接近激光雷达效果，但本质原理仍是毫米波雷达。

感知能力：毫米波雷达具有一些独特的优势，使其在自动驾驶中成为不可或缺 的传感器之一。首先，雷达能直接测量目标的相对速度（径向速度） ，这是通过多普勒效应获得的，无需多帧追踪即可瞬时得到。这对于预测前方车辆减速、测量对向车接近速度等非常关键。其次，毫米波雷达对环境鲁棒性强 ：它的电磁波可以在夜晚、强光、烟雾、轻度雨雪中正常工作，受天气和光照的影响远小于摄像头和激光雷达。在浓雾、大雨、大雪等视觉严重退化的环境下，雷达往往还能探测到前方大型障碍物，为安全提供冗余保障。再次，雷达的探测范围远，一般77GHz前向雷达探测距离可达200~250米 ，非常适合高速公路工况下的远距离预警。另外，雷达输出的数据规模相对较小，每帧可能只有几十上百个目标点，处理代价低，实时性好。雷达对金属物体（如车辆）反射强，非常适合探测前方车辆目标，并测量其相对速度用于**自适应巡航（ACC）**和碰撞预警。

局限与短板：毫米波雷达的主要短板 在于其空间分辨率低 和点云语义信息有限 。由于雷达波长较长，天线孔径有限，典型车规雷达的角分辨率只有几度甚至十几度量级，远不如摄像头和激光雷达。这意味着雷达无法精细地区分相邻的小目标，输出的点云非常稀疏。例如，相距很近的两个行人或车辆，在雷达点云中可能融合为一个目标。此外，传统雷达通常不提供丰富的高度信息 （大多只输出距离、水平角、径向速度），点云维度低，无法刻画物体的形状和尺寸 。尽管通过多天线和数字波束形成可提升分辨率，但总体而言雷达点云远不如激光雷达直观。此外，雷达回波受物体材质影响显著：对于非金属物体或形状复杂的物体 （如行人、自行车、轮胎残片），雷达可能回波很弱或散射异常，导致漏检或不精确。雷达也易受多径干扰 （信号经地面或建筑反射导致虚假目标）和电子干扰的影响。最后，雷达虽然抗天气但在极端情况下也有局限，例如特大暴雨、积雪覆盖雷达天线等情况下性能会下降。

小结：毫米波雷达在自动驾驶中主要解决"速度测量与全天候检测"的问题 。它提供了对运动物体的直接速度感知和远距离探测，在高速场景和恶劣气象条件下保障车辆探测前方障碍物。雷达与摄像头、激光雷达形成互补：摄像头/激光雷达弥补雷达分辨率不足，雷达则在视觉失效时提供基本的障碍预警。综合来说，一个成熟的感知系统离不开雷达对运动目标的把关。

4. 惯性测量单元（IMU）

工作原理：惯性测量单元（IMU, Inertial Measurement Unit）是一组测量载体自身运动状态 的传感器组合，通常包括三轴加速度计和三轴陀螺仪（有时还包含三轴磁力计）。IMU 根据牛顿力学 原理工作：加速度计测量载体在各轴向的加速度 （含重力加速度分量），陀螺仪测量载体绕各轴的角速度 。通过对加速度信号二次积分可估计位移，对角速度积分可估计姿态变化。车载 IMU 通常为MEMS 器件，体积小、响应快，可高频输出车辆的加减速和转弯角速度数据。将 IMU 安装在车辆质心附近，即可近似测得整车的运动状态。IMU 数据一般以 100Hz 甚至更高频率输出，为感知和定位模块提供平滑的运动信息。

感知能力：IMU 最大的特点是不依赖外界 ，完全基于惯性原理独立工作，因此它不会受天气、光线、环境变化影响 。这使得 IMU 成为自动驾驶系统中最后的底层兜底 传感器：即使所有外部环境传感器暂时失效，IMU 仍可感知车辆自身的加速、转向等动态，从而用于短时的自主定位（惯性导航）。IMU 输出的时延极低 、频率高 ，可以捕捉车辆高速运动中的细微姿态变化，对于车辆稳定控制、精细定位非常重要。例如，在车辆驶过颠簸或紧急变线时，高频 IMU 数据可提供平滑的车身运动轨迹，弥补其他传感器帧率不足的问题。此外，通过组合导航算法，IMU 可以与 GNSS、里程计、磁罗盘等融合，实现姿态角 （俯仰角、横滚角、航向）的持续估计。这对于车辆在坡道、斜倾路面上的姿态感知是必要的。有了 IMU，自动驾驶系统可以做到连续定位 ，即使短时间经过隧道、地下停车场等 GNSS 信号缺失区域，仍能"凭感觉"继续推算位置。在多传感器融合架构中，IMU 往往作为预测模型的一部分，用于在两帧传感器感知之间通过运动学模型推算车辆位姿，从而提高感知和跟踪的稳定性。

局限与短板: IMU 自身的缺陷主要在于误差积累 和漂移问题：因为通过积分计算位移和姿态，IMU 的噪声和偏差会随时间积累，导致定位逐渐发散。这被称为零偏漂移 或惯性漂移 。低成本 MEMS IMU 尤其严重，往往几秒钟内误差就不可忽视，需要借助其他传感器不断校正。为此，高精度导航常用激光陀螺或光纤陀螺的 IMU，精度高但价格昂贵、体积大，不易装车。此外，IMU 提供的仅是相对运动信息 （如当前加速度、转角速率），它无法直接感知绝对位置 ------只有与GNSS/里程计等配合才能定位到地图坐标系。并且IMU无法感知外部环境中的物体，它只告诉我们"车怎么动"，不能告诉我们"周围有什么"。因此IMU本质上不是环境感知 传感器，而是自身运动感知部件。最后，IMU测量也会受温度、振动等影响产生噪声，需要进行温补和滤波处理。总的来说，IMU 更多是提供车辆运动学信息的辅助传感器，不能单独用于完成环境感知任务。

小结：IMU 在自动驾驶中解决的是车辆自身的姿态和短时定位连续性问题。当GNSS信号不良或丢失时，IMU可以暂时充当"盲导航"手段，保证定位解的连续。同时IMU的高速输出让系统能捕获车辆细微运动，从而结合到感知算法中提高目标跟踪和预测的准确性。简单来说，IMU是自动驾驶感知体系中默默工作的"里程计"和"陀螺仪"，支撑着感知和定位的底层稳定。

5. 全球导航卫星系统（GNSS）

工作原理：GNSS（Global Navigation Satellite System）指GPS、北斗、GLONASS、Galileo等全球卫星导航系统。车辆通过安装GNSS接收机，从天上的导航卫星 接收信号，测量信号传输时间差，从至少4颗卫星获得距卫星的距离，从而解算出自身在地球坐标系中的三维位置（经纬度和高度）以及高精度时间基准。为了满足自动驾驶高精度定位的需求，GNSS一般会结合差分技术，如RTK（实时差分定位）或PPP（精密单点定位） 。RTK利用地面基准站校正卫星信号误差，实现平面厘米级 、高程亚分米级精度。PPP则通过精密星历和钟差在广域上提供分米级定位，而且可以进一步结合区域差分（PPP-RTK）缩短收敛时间。在城市环境中，单纯GNSS定位易受多路径和遮挡影响，因此自动驾驶常把GNSS和IMU紧密耦合，或融合视觉/激光里程计，一方面用GNSS校正惯导漂移，另一方面用惯导弥补GNSS间断。另外，车载GNSS模块还提供一个全局时间同步参考：所有传感器的数据时间戳可以对齐到GNSS授时，这对多传感器同步十分关键。

感知能力：GNSS最大的作用是提供全局 且连续的绝对位置信息 ，这是车载其它传感器无法做到的。有了GNSS，自动驾驶车辆可以知道自己在地球坐标系甚至地图上的具体位置、行驶车道，以及相对于目的地的距离。这对于实现全局路径规划、车道级导航 是必不可少的。此外GNSS信号自带标准时间，车辆之间、车与基础设施之间可以通过统一时间基准实现数据同步（例如车车通讯、车路协同都以GPS时间为参考）。GNSS定位具备长时间稳定性 ：在开阔环境下，GNSS不会像惯导那样随时间漂移，可以无累积误差地长期工作。在高速公路等开阔场景，RTK-GNSS 可以始终将车辆约束在车道内的厘米级位置，让车辆掌握车道层级 的定位能力。GNSS还能提供绝对航向 （dual-antenna 系统可测姿态）和高精度授时 ，对编队行驶、V2X 切换等都很重要。简而言之，GNSS赋予自动驾驶车辆一种"地图上的自我定位"能力，与高精地图配合可实现导航决策上的先验。

局限与短板：GNSS的痛点 主要在于：城市环境可靠性差 和单纯依赖不够安全 。在城市高楼林立的"城市峡谷"中，卫星信号会发生遮挡和多路径反射 ，接收机可能收到经建筑物反射的间接信号，导致定位出现数米到数十米的偏差。相信很多人都有在高架桥旁导航飘移到旁边道路的经历，在自动驾驶中这种误差是无法接受的。其次，隧道、地下停车场、树林茂密道路 等场景，卫星信号可能完全丢失，GNSS这时就"失明"了，只能依赖惯导续航。然而仅靠低成本 IMU 很难坚持太久，定位误差会发散。因此自动驾驶必须融合其它感知（视觉、激光、里程计）来辅助定位。此外，GNSS还存在易受干扰和欺骗 的问题：在复杂电磁环境中大功率干扰会导致GNSS解算不稳，更严重的是欺骗攻击（spoofing）可能引导车辆计算出错误位置。这对自动驾驶安全是潜在威胁，需要通过多源校核来检测。最后，GNSS的更新频率通常只有5~10Hz（高端可到20Hz），无法提供高速运动过程中的连续细节，也无法直接感知周围障碍，因此必须同车载惯性、环境传感器相结合，形成闭环。总之，GNSS 提供的是全局定位能力，但不可单独依赖：在自动驾驶系统中，GNSS往往作为多源融合定位的一部分，与IMU和环境特征定位一起使用，以保证定位"稳、准、不断线"。

小结：GNSS 在自动驾驶中解决的是车辆的全球定位和时空基准问题 。它让汽车知道"我在哪"，并为多传感器融合提供统一的时空参考。对于高速公路NoA（Navigate on Autopilot）这类应用，有了RTK-GNSS，车辆才能保持在正确车道并顺利完成匝道进出。当然，在城区等复杂场景，GNSS必须与视觉、雷达、地图等信息融合，才能克服遮挡和多径影响。可见，GNSS是自动驾驶系统中不可或缺的一环，为车辆提供了"绝对定位能力"，与IMU等相辅相成共同保证定位的可靠性。

二、各类传感器的典型硬件型号与代表厂商

了解了五大传感器的原理和性能差异，我们再来看看目前市面上主流的传感器硬件 及其供应商情况。自动驾驶传感器产业发展迅速，国内外众多厂商在竞争。本节将按传感器种类分别介绍典型的型号或产品系列，并对主要的供应商（国内 vs. 国外）进行横向比较。

1. 摄像头：典型型号与厂商

车载摄像头硬件包括摄像头模组 （镜头+图像传感器+ISP等）和感知算法 两部分。当前主流车载摄像头的分辨率从1~2MP逐步提升到8MP甚至更高 （特斯拉 HW4 相机达到 5 megapixel 以上），以覆盖更大范围和提供更清晰图像。感光芯片方面，国际供应商如索尼（Sony） 、豪威科技（OmniVision）、安森美（OnSemi）等提供车规级 CMOS 传感器，其中索尼曾推出 8MP HDR 夜视传感器专供自动驾驶。镜头和模组方面，Mobileye 既是算法方案商也是相机供应商（如 EyeQ 套件中的前向相机），LG电子 也有供货特斯拉的摄像头模组。传统一级供应商大陆集团（Continental） 、博世（Bosch）都提供整套摄像头系统（含前视摄像头用于ADAS的物体检测，环视摄像头用于泊车等）。国内方面，舜宇光学 是全球领先的车载镜头制造商，市占率超过30%；欧菲光 、联创电子等在摄像头模组领域也占据重要地位，曾为特斯拉、蔚来等车型供货。整机厂合作层面，国内不少自主品牌采用地平线的摄像头感知方案，或者华为、百度等提供的多目相机系统。例如华为 ADS 2.0 系统配置有超高清摄像头 组合（包括前视8MP、环视等多路摄像头）。总的来说，国外供应链 在底层器件（CMOS传感器）上占优势，而国内厂商在光学镜头和模组封装上具备竞争力。算法方面，以 Mobileye 为代表的成熟供应商占据大量前装市场，但国产算法公司（如旷视、商汤、地平线等）也在迅速崛起，与主机厂合作提供本土化的视觉感知方案。

2. 激光雷达：典型型号与厂商

激光雷达领域可谓百花齐放，近年来涌现出多种技术路线和厂商。按工作方式分，有机械旋转式 和固态式 。机械式的代表是 Velodyne 公司经典的HDL-64E （64线机械激光雷达）和后续的 VLS-128 等，提供 360° 覆盖的环视点云；Ouster 公司也推出多款机械雷达。固态激光雷达则包括MEMS 振镜式 （代表如 Innoviz、一部分禾赛产品）、OPA 光学相控阵 （代表如黑芝麻电子的方案）和棱镜扫描式 （Luminar 的高性能远距雷达）。国外领军厂商有Velodyne （已与Ouster合并）、Luminar 、Innoviz 、Ibeo （已被莱卡收购）等，这些公司产品多应用于 L3+ 自动驾驶项目。如 Luminar 的激光雷达在北极星 (Polestar)、沃尔沃等车型上前装上车，可达 250m@10%反射率的探测能力。国内则涌现出禾赛科技（Hesai） 、速腾聚创（RoboSense） 、北科天绘 、纵目科技 等一批企业，其中禾赛的机械激光雷达（Pandar系列）和 RoboSense 的固态激光雷达（RS-LiDAR系列）均已量产装车。特别是禾赛、速腾在 2023 年前后都发布了面向 ADAS 的低成本激光雷达（如禾赛AT128、速腾 M1），加速激光雷达在乘用车的搭载。各厂商技术参数略有差异，但总体来看，高端产品均在提高线束数 （如 128线、256线）、探测距离 （>200m）和角分辨率 ，同时降低成本和尺寸。值得一提的是，许多自动驾驶公司开始自研激光雷达 。例如 Waymo 早期就自主研发了多款激光雷达（称为 Honeycomb 等），特斯拉也在研发成本更低的雷达方案（尽管马斯克对LiDAR持保留态度）。激光雷达行业目前格局是国外起步早技术成熟 ，国内后来居上性价比高 。在 Robotaxi 等领域，Waymo、Cruise 等用的多为自研或Luminar等高性能雷达，而小鹏、蔚来等量产车采用禾赛、速腾这类国产雷达为主，其性能也接近国际一流水平。总体来说，激光雷达供应链正走向成熟和规模化，未来几年成本有望进一步下降，更多车型将配备。

3. 毫米波雷达：典型型号与厂商

毫米波雷达属于传统车用传感器之一，供应链较为成熟，主要由 Tier1 巨头提供。国际上，博世（Bosch）和大陆集团（Continental）是毫米波雷达的两大巨头，分别推出多代产品：如博世第六代长距雷达、短中距角雷达，Continental 的 ARS系列雷达等。这些雷达普遍采用77GHz频段，探测距离200~250m，水平视场90°左右，垂直视场10°以下。德尔福（Aptiv, 原 Delphi）也提供毫米波雷达（MRR、LRR产品），日本电装（Denso）和住友等在前装市场占有一席之地。国内方面，随着本土自动驾驶需求增长，一批雷达厂商崛起。例如华域汽车旗下的华域视觉、中创新航 等推出国产毫米波雷达，南京隼眼（Senyuan）开发基于4D成像雷达技术的产品。另有一些初创公司如万集科技 、行易道 也在研发高分辨率雷达。值得关注的是，华为推出了Tiangang 芯片平台的毫米波雷达，以及采用数字阵列（DAR）技术的高分辨率成像雷达方案，号称达到较高角分辨率和点云输出。在供应链层面，关键器件如射频收发芯片，英飞凌、德州仪器等掌握主导，但国内也有如加特兰这类在77GHz收发前端芯片上突破的公司。总体看，毫米波雷达硬件进入标准化量产 阶段，国外 Tier1 产品稳定可靠，国内厂商在4D成像雷达 等新方向上努力追赶。当前乘用车一般配备5~6个毫米波雷达（1前、4角、1后），每个售价几十美金不等，未来可能被更高分辨率的成像雷达部分取代，但雷达作为全天候传感仍将是标配。主要供应商的竞争点在于：探测距离、角分辨率、同时追踪目标数、抗干扰算法等方面，以及成本控制和芯片自研水平。

4. 惯性测量单元（IMU）：典型型号与厂商

IMU 传感器按性能有消费级、工业级和战术级等区分。汽车应用多采用MEMS IMU ，精度高于手机等消费品但低于航空级。主要厂商包括博世（如 BMI160 系列，6轴IMU）、英飞凌 、STMicroelectronics 、ADI （Analog Devices）等，这些提供高性能的三轴加速度计和陀螺。博世的 SMI130 IMU 专为自动驾驶设计，拥有优异的偏置稳定性和抗震能力，被多家主机厂选用。国外还有专注惯性导航的如KVH 、NovAtel 提供组合惯导产品。国内方面，车载 IMU 芯片供应有华为（2019年起推出车规 MEMS IMU）、亿航微电子 等，也有采用航姿解算算法输出姿态的产品。对于需要更高精度的 L4 车辆，会采用光纤陀螺（FOG）或激光陀螺 IMU，例如日本神盾（Tamagawa）、法国 Safran 等提供的小型高精度惯导，但成本极高。一般 Robotaxi 测试车使用的组合导航系统（GNSS+IMU）可能由NovAtel 或Trimble 提供，其中 IMU 精度达到0.1°/h级别。而量产车如高速 NOA，则多选用MEMS IMU 结合RTK，即可满足要求。IMU 模块常与 GNSS 接收机集成形成INS模块 供应，例如国内的北云科技 、司南导航 等提供GNSS/IMU组合定位单元。总的来说，IMU 硬件相对隐形，但不可或缺。供应商比拼的是零偏稳定性 （温漂、小角度随机游走），以及是否有成熟的组合导航算法。在自动驾驶供应链中，IMU 多由 Tier2 提供给 Tier1 或直接给整车厂。随着自动驾驶对冗余要求提高，未来或许高性能IMU的用量也会上升。

5. GNSS 定位模块：典型型号与厂商

GNSS 接收机模块在自动驾驶中通常要求支持多星座多频段 （GPS L1+L5、北斗B1+B2等）并具备RTK功能。国际上著名的高精度GNSS厂家有NovAtel（Hexagon） 、Trimble 、Septentrio 等，这些公司的板卡经常用于无人车测试。NovAtel 提供的 PwrPak7-E1 等就是集成IMU的GNSS惯导系统，Waymo 早期无人车等都采用过NovAtel方案。国内这几年在北斗高精度上进步很大，出现了如华测导航 、司南导航 、北斗星通 、天宝航电 等本土厂商，它们生产的RTK板卡精度和性能已达国际一流水平，但成本较低。部分国产汽车（如商用卡车自动驾驶方案）已经用上国产高精度定位模块。除了接收机，差分定位服务 提供商也是生态一环：国内有"千寻位置""六分科技"等广域差分服务，可以给汽车提供实时的星基增强和地基增强数据，实现厘米级定位。车载GNSS天线由专门厂商供应，如trimble 也提供天线，国内有仲辰等。总体上，GNSS的核心技术在算法和射频芯片上。国际上高通等提供汽车级GNSS芯片，国内华大北斗 、联发科 也有多频高精度SoC问世。对于普通L2级车辆，一般使用中等精度GNSS芯片+地图匹配即可满足车道维持。而高级别自动驾驶则需要双天线RTK 方案保证姿态角和精度。在这一市场，本土厂商结合本地服务，有一定优势。可以预见随着北斗全系统部署完善和成本下降，高精度GNSS模块会在量产车上越来越普及，为车辆在道路网络中提供"厘米级坐标"。

三、典型核心算法推导与数学建模

传感器获取的数据需要通过算法转化为对环境的理解。本节选取自动驾驶感知与定位领域中具有代表性 的三个核心算法：LiDAR SLAM （激光雷达同时定位与建图）、GNSS-IMU 融合定位 以及毫米波雷达点云的聚类与目标跟踪。我们将简要阐述其原理并给出相应的数学建模公式，帮助读者理解这些算法在自动驾驶系统中的作用。

1. LiDAR SLAM 算法原理与数学模型

问题背景：SLAM（Simultaneous Localization and Mapping）指机器人在未知环境中一边构建地图、一边定位自身的位置。对于自动驾驶，LiDAR SLAM 即利用激光雷达点云来实现车辆的定位和环境地图构建。激光SLAM通常包含前端里程计（估计连续帧间运动）和后端优化（整合全局一致地图）两部分。

数学建模：SLAM可抽象为一个状态空间模型。假设车辆状态为xk\mathbf{x}_kxk（包含位姿等），环境特征地图为m\mathbf{m}m，激光雷达观测为z∗k\mathbf{z}*kz∗k。SLAM的本质是同时估计x∗0...k\mathbf{x}*{0...k}x∗0...k和m\mathbf{m}m满足以下概率模型：观测模型 p(zk∣x∗k,m)p(\mathbf{z}_k|\mathbf{x}*k,\mathbf{m})p(zk∣x∗k,m) 和运动模型 p(x∗k∣x∗k−1,u∗k)p(\mathbf{x}*k|\mathbf{x}*{k-1},\mathbf{u}*k)p(x∗k∣x∗k−1,u∗k)。激光雷达SLAM常使用贝叶斯滤波或图优化求解最优轨迹和地图，使得后验概率 p(x∗0...k,m∣z∗0...k)p(\mathbf{x}*{0...k}, \mathbf{m} | \mathbf{z}*{0...k})p(x∗0...k,m∣z∗0...k) 最大。

前端里程计一般通过点云扫描匹配 计算相对位姿Δxk\Delta \mathbf{x}_kΔxk。比如经典的 ICP（Iterative Closest Point）算法 通过最小化两帧点云对应点之间的欧式距离来求解刚体变换。ICP 的数学模型可表示为：给定源点云P=p∗iP={\mathbf{p}*i}P=p∗i和目标点云Q=q∗iQ={\mathbf{q}*i}Q=q∗i，目标是求旋转矩阵R\mathbf{R}R和平移t\mathbf{t}t，使得匹配误差：

E(R,t)=∑∗i∣Rp∗i+t−q∗c(i)∣2 E(\mathbf{R},\mathbf{t}) = \sum*{i} | \mathbf{R}\mathbf{p}*i + \mathbf{t} - \mathbf{q}*{c(i)} |^2 E(R,t)=∑∗i∣Rp∗i+t−q∗c(i)∣2

最小，其中q∗c(i)q*{c(i)}q∗c(i)是点pip_ipi在目标点云中对应的最近邻点。ICP 通过迭代最近邻匹配和最小二乘求解R,t\mathbf{R},\mathbf{t}R,t直到收敛。除了 ICP，前端还可用NDT（Normal Distributions Transform）、特征点匹配等方法。

后端优化则把运动估计和回环检测形成约束构建一个因子图 或优化问题 。可以用非线性最小二乘 形式：

min⁡x∑k∣f(x∗k−1,x∗k)−Δx^∗k∣∗Σ2+∑(i,j)∈loop∣xi!−!x∗j∣∗Σ′2 \min_{{\mathbf{x}}} \sum_{k}|f(\mathbf{x}*{k-1}, \mathbf{x}*{k}) - \hat{\Delta \mathbf{x}}*{k}|*{\mathbf{\Sigma}}^2 + \sum_{(i,j)\in \text{loop}}|\mathbf{x}_i !-! \mathbf{x}*j|*{\mathbf{\Sigma}'}^2 xmink∑∣f(x∗k−1,x∗k)−Δx^∗k∣∗Σ2+(i,j)∈loop∑∣xi!−!x∗j∣∗Σ′2

其中第一项是相邻帧里程计约束，第二项是闭环回环约束。通过例如扩展卡尔曼滤波（EKF）或图优化 （g2o, Ceres）求解整个轨迹x{\mathbf{x}}x以及构建一致地图。后端优化能平摊误差，消除累积漂移，使地图闭合。

算法特点：LiDAR SLAM 通常还包括闭环检测 （识别之前去过的地方），采用扫描相似性匹配等手段；以及地图表示 ，如使用占据栅格地图 存储环境。SLAM 算法需要在精度和效率之间权衡。滤波法（EKF SLAM）计算复杂度高且受线性化影响，而图优化可以全局优化但需要高效的稀疏求解。现实应用中，LOAM（激光里程计与测绘）等方法通过提取边缘、平面特征点提高前端速度，并在后端做周期性优化，取得良好效果。最新的激光SLAM还融合IMU等传感器，形成紧耦合系统 进一步提高稳健性。总之，LiDAR SLAM 为自动驾驶提供了无GPS环境下的高精度定位能力，也是高精地图制作和更新的核心技术之一。

2. GNSS-IMU 紧耦合融合定位

问题背景：GNSS 提供绝对位置信息，IMU 提供相对运动信息，将两者融合可以发挥各自长处，实现"不断线"的高精度定位 。所谓紧耦合一般指通过状态空间滤波，将卫星信号和惯性数据在滤波器中联合处理，相比松耦合（分别解算再融合）更精确。

数学模型：可以采用 扩展卡尔曼滤波（EKF）来建模 GNSS-IMU 融合。我们定义系统状态向量 x∗k\mathbf{x}*kx∗k 包括车辆位姿、速度以及IMU传感器偏差等（典型15维状态：位置3、速度3、姿态3、加速度计偏置3、陀螺仪偏置3）。系统的状态转移方程由惯性导航方程给出：

x∗k+1=f(x∗k,u∗k)+w∗k \mathbf{x}*{k+1} = f(\mathbf{x}*k, \mathbf{u}*k) + \mathbf{w}*k x∗k+1=f(x∗k,u∗k)+w∗k

其中 u∗k\mathbf{u}*ku∗k 是 IMU 测量（加速度和角速度），fff 基于经典的刚体运动学积分（如速度积分位置，角速度积分姿态），w∗k\mathbf{w}*kw∗k 是过程噪声。量测方程 来自GNSS：

z∗kGNSS=H(x∗k)+v∗k \mathbf{z}*{k}^{\text{GNSS}} = H(\mathbf{x}*k) + \mathbf{v}*k z∗kGNSS=H(x∗k)+v∗k

一般 HHH 直接取出状态中的位置和姿态（若有航向测量），v∗k\mathbf{v}*kv∗k 是测量噪声。融合就是通过 EKF 递归：

预测：x^∗k∣k−1=f(x^∗k−1∣k−1,u∗k−1)\hat{\mathbf{x}}*{k|k-1} = f(\hat{\mathbf{x}}*{k-1|k-1}, \mathbf{u}*{k-1})x^∗k∣k−1=f(x^∗k−1∣k−1,u∗k−1)，协方差预测 P∗k∣k−1=F∗k−1P∗k−1∣k−1F∗k−1T+QP*{k|k-1} = F*{k-1} P*{k-1|k-1}F*{k-1}^T + QP∗k∣k−1=F∗k−1P∗k−1∣k−1F∗k−1T+Q（Fk−1F_{k-1}Fk−1是状态转移雅可比）；

更新：y~∗k=z∗k−H(x^∗k∣k−1)\tilde{\mathbf{y}}*k = \mathbf{z}*k - H(\hat{\mathbf{x}}*{k|k-1})y~∗k=z∗k−H(x^∗k∣k−1)，

Kk=P∗k∣k−1HT(HPk∣k−1HT+R)−1 K_k = P*{k|k-1} H^T (H P_{k|k-1} H^T + R)^{-1} Kk=P∗k∣k−1HT(HPk∣k−1HT+R)−1

x^∗k∣k=x^∗k∣k−1+Kky~∗k \hat{\mathbf{x}}*{k|k} = \hat{\mathbf{x}}*{k|k-1} + K_k \tilde{\mathbf{y}}*k x^∗k∣k=x^∗k∣k−1+Kky~∗k

P∗k∣k=(I−KkH)Pk∣k−1 P*{k|k} = (I - K_k H) P_{k|k-1} P∗k∣k=(I−KkH)Pk∣k−1

这里 RRR 是 GNSS观测噪声协方差，QQQ 是过程噪声协方差。通过这样的滤波，IMU 每时刻修正 GNSS 结果，GNSS 也校正 IMU 漂移。

紧耦合优势：与松耦合（即分别计算GNSS位置和IMU推算，最后融合）相比，紧耦合 EKF 可以在卫星少于4颗 时仍利用残余信息（如3颗卫星也能结合惯性约束定位），提高在遮挡环境下的可用性。此外，可以将GNSS的原始伪距、载波相位 等直接纳入滤波，而不仅仅用解算后的位置，提高精度。实际实现中，常对 GNSS 观测进行质量控制，如检测多路径伪距并加权。IMU 陀螺和加计偏置也可作为滤波状态在线估计，提高长期精度。甚至IMU还能参与GNSS的整周模糊度解算加快RTK收敛。根据需要，滤波器也可能扩展包含车体运动学约束（如非holonomic约束）。当今自动驾驶定位普遍采用类似EKF/UKF的融合方法，实现车辆在城市中的平滑定位。一些开源框架如 Google Cartographer、MSF（开源自动驾驶中多传感器融合库）也实现了GNSS+IMU+Lidar等的紧耦合。简言之，GNSS-IMU 融合通过**"长短互补"**达成高精度、高可靠的定位：GNSS 保证不漂移，IMU 保证短时连续和姿态稳定。正如业内常言："IMU 短时间精度高，但会漂；GNSS 长时间稳定，但会断，两者互补即可不断线"。

公式说明：值得注意的是，如果进一步细化，GNSS-IMU 融合可采用误差状态卡尔曼滤波 形式，即对误差进行线性化，实现更高效率。此外也可以用因子图优化 方法批处理融合。这些属于实现层面。总体而言，GNSS-IMU 融合定位在数学上就是一个传感器融合的状态估计问题，其核心是借助IMU运动模型和GNSS量测模型，利用贝叶斯估计方法得到最优解。这也是自动驾驶定位模块的重要基石。

3. 毫米波雷达点云聚类与多目标跟踪

**问题背景：**毫米波雷达输出的是相对稀疏的点云（或称目标点列表），常需要将多个回波点归属到具体物体上（聚类），并在时间维度上连续识别并估计这些物体的动态状态（跟踪）。这是构建雷达感知的关键步骤，用于提供稳定的前方车辆/目标的位置信息和速度，支撑自动驾驶决策。

聚类算法：针对雷达点云稀疏且无类别属性的特点，一般采用无监督聚类 算法，将属于同一物理目标的点云归为一类。主流方法是基于密度的聚类（DBSCAN） 。DBSCAN 不需要预先知道簇的数量，能依据点在空间中的分布自动找到聚类结果，并识别噪点。对于雷达点云来说，不同物体的回波点在空间上通常会形成密度较高的区域，而不同物体之间是稀疏分布的，DBSCAN 正契合这一特性。简单来说，DBSCAN 定义两个参数：ϵ（邻域半径）和MinPts（最少点数）。它将距离小于ϵ且包含至少 MinPts 个点的邻域定义为核心点，从核心点出发能密度可达的点都归为同簇。应用在雷达上，需要合理设定ϵ（可以和雷达分辨率相关）和MinPts（可取如3~4），这样相邻的雷达点自然聚成簇。DBSCAN 能够发现任意形状的聚类且对噪声有鲁棒性，这在汽车雷达应用中非常合适。许多汽车雷达算法使用 DBSCAN 或改进的密度聚类先对雷达点云聚类。此外，也有方法利用目标在极坐标下呈现的扇形扩展 特征来聚类，比如设置角度-距离动态阈值划分等。但总体而言，DBSCAN 是目前毫米波雷达点云聚类事实上的标准。

跟踪算法：完成聚类后，需要对每一类（即一个物体）进行跨帧跟踪，以估计其运动状态 （位置、速度等）并赋予稳定的 ID。雷达目标跟踪通常建模为多目标跟踪 问题，可用卡尔曼滤波 系列算法来跟踪单个目标状态，并用数据关联 方法来处理多目标匹配。最常用的是扩展卡尔曼滤波（EKF）结合最近邻关联 ：EKF 适用于雷达的非线性观测模型，将状态从直角坐标(x,x˙,y,y˙)(x, \dot{x}, y, \dot{y})(x,x˙,y,y˙)映射到极坐标观测(r,θ,r˙)(r, \theta, \dot{r})(r,θ,r˙)进行线性化处理。以二维平面跟踪为例，设目标状态x= $x,y,vx,vy$ T\mathbf{x}= $x, y, v_x, v_y$ ^Tx= $x,y,vx,vy$ T，则状态预测模型假设匀速运动：xk+1=xk+vx,kΔt,;yk+1=yk+vy,kΔt,;vx,k+1=vx,k,;vy,k+1=vy,kx_{k+1} = x_k + v_{x,k}\Delta t, ; y_{k+1} = y_k + v_{y,k}\Delta t, ; v_{x,k+1}=v_{x,k}, ; v_{y,k+1}=v_{y,k}xk+1=xk+vx,kΔt,;yk+1=yk+vy,kΔt,;vx,k+1=vx,k,;vy,k+1=vy,k。量测模型为雷达观测：

{r=x2+y2, θ=arctan⁡2(y,x), r˙=xvx+yvyx2+y2, \begin{cases} r = \sqrt{x^2 + y^2}, \ \theta = \arctan2(y,x), \ \dot{r} = \frac{x v_x + y v_y}{\sqrt{x^2 + y^2}}, \end{cases} {r=x2+y2 , θ=arctan2(y,x), r˙=x2+y2 xvx+yvy,

这是一个非线性关系，EKF 通过在当前估计点求雅可比矩阵来线性化。然后按标准KF预测-更新计算出目标的新状态估计。数据关联方面，简单但有效的是最邻近距离法 ：计算当前帧每个聚类和上一帧已跟踪目标的距离（可以是位置欧氏距离或马哈拉诺比斯距离），选取距离最近且在设定门限内的配对。当出现遮挡或消失时，可启用轨迹管理：未匹配计数超过阈值则终止目标，出现新簇则初始化新轨迹。对于密集目标环境，还可用匈牙利算法 做匹配或JPDA （概率数据关联）和多假设跟踪（MHT）等提高关联稳定性。此外，一些研究开始将神经网络 用于点云跟踪（例如基于 LSTM 预测轨迹，或Transformer关联），但传统滤波算法因其实时高效，仍是主流。值得一提的是，最新的成像雷达点云较稠密时，也需类似激光雷达的聚类-跟踪 方案，并可考虑目标形状估计（例如用扩展目标模型，使卡尔曼滤波估计目标长度/宽度）。

数学公式示例：以 EKF+最近邻为例，关联使用门限判决 ：当预测观测与实际簇观测误差y~\tilde{\mathbf{y}}y~满足 y~TS−1y~<γ\tilde{\mathbf{y}}^T S^{-1} \tilde{\mathbf{y}} < \gammay~TS−1y~<γ（SSS为创新协方差，γ\gammaγ为卡方阈值）时，认为匹配，否则产生新目标。每帧计算这些误差，取最小者为匹配对。卡尔曼滤波状态更新公式与前述GNSS-IMU类似，不再赘述。

算法效果：通过上述聚类与跟踪，毫米波雷达可以输出一系列稳定的目标（车辆、大型障碍物等）的状态，例如"ID=3号目标：距离50m，速度-20m/s正在接近"。雷达跟踪在高速公路ACC、自适应巡航中已应用多年，属于成熟技术。但在自动驾驶高复杂场景下（行人、自行车众多），雷达的聚类跟踪仍较困难，因为雷达点云缺少高度和外形信息。不过研究者也提出融合视觉/雷达进行联合跟踪的方案，以提升鲁棒性。总的来说，聚类解决了雷达原始点云到"对象"级别的转换，跟踪则赋予对象时序上的连续性和速度估计，两者结合使毫米波雷达的数据能够被高层规划决策直接利用。

四、感知融合的经典神经网络结构详解

多传感器融合感知是自动驾驶研究的热点，近年来涌现了众多基于深度学习 的融合网络结构。它们在不同阶段融合来自摄像头、激光雷达、雷达等模态的信息，以提升3D目标检测、语义分割等感知任务的精度和鲁棒性。传统融合可分为早期融合 （数据层融合）、中期融合 （特征层融合）和晚期融合 （决策层融合）。各有优缺点：早期融合利用原始数据构建联合表示，但对传感器时间/空间对齐误差很敏感；晚期融合在决策层组合结果，灵活但未充分利用跨模态特征；中期融合折中两者，在特征提取后结合，多模态共享中间特征。本节将介绍三种经典的感知融合神经网络结构：BEVFusion （Bird's Eye View空间特征融合）、CenterFusion （Radar-Camera 中期融合3D检测）、DeepFusion（Lidar-Camera 深度特征融合）。它们分别代表了当前多模态融合的前沿思路。

1. BEVFusion：鸟瞰视角特征融合框架

模型简介：BEVFusion 是 2022-2023 年兴起的一种高效多模态多任务 融合框架。其核心思想是将摄像头图像与激光雷达点云各自提取的特征统一投影到BEV（Bird's Eye View，鸟瞰平面）空间，再在该平面内融合，然后通过共享的 BEV 特征用于下游3D感知任务。相较以往在图像视角或三维直接融合的方法，BEV 空间提供了一个统一且与真实地面平行的融合空间，避免了视角差异带来的特征错位。BEVFusion 属于特征级中期融合，实现了"模态对等融合"，即使缺失某一传感器也能由另一模态单独工作。

网络结构：如上图所示，BEVFusion 可以分为五个主要模块：(1) 输入层 ：对多模态数据进行预处理，例如对激光雷达点云进行体素化（将连续点云离散为0.2m左右栅格体素）；对多摄像头图像做畸变校正、坐标标定等。(2) 模态编码器 ：分别用神经网络提取LiDAR特征和图像特征。LiDAR编码器通常是3D卷积（如改进的 VoxelNet 或 PointPillars），提取稀疏3D特征并降维到BEV平面。图像编码器则采用2D CNN或Transformer骨干（如ResNet或Swin），提取多尺度视觉特征。(3) BEV 转换层 ：这是BEVFusion的关键模块------将图像特征从原来的透视视角 投影到俯视视角 。具体做法是利用相机的内外参，将每个图像特征像素对应的射线投影到地平面上的BEV网格中。为加速计算，论文对传统BEV池化做了优化，如预计算投影关系 和间隔缩减 ，提高转换速度达40倍。得到的图像BEV特征与LiDAR的BEV特征（直接来自LiDAR编码器输出）在尺寸上对齐。(4) BEV 编码器 ：将上述两种BEV特征在通道维度上融合（可以简单相加或Concatenate，或者用注意力机制）。融合得到的BEV特征再通过卷积或Transformer进一步提取，以增强全局上下文。最终输出统一的融合BEV特征图（典型大小比如200×200网格，每格含融合特征向量）。(5) 多任务头 ：基于最终BEV特征，可以接不同的任务头实现诸如3D目标检测、BEV语义分割、交通占用格预测等。例如3D检测头会预测每个BEV格子中是否有车辆，并给出3D边界框参数；分割头可标注BEV平面上的道路/车道区域。由于融合后的BEV特征是共享的，多个任务可以共享感知主干实现高效的多任务学习。

创新与优势：BEVFusion 的主要亮点在于统一表示 和效率。它将不同传感器的数据都转换到鸟瞰坐标系，几何对齐 问题得到解决------过去直接融合图像和点云特征时，二者坐标系不同容易错配，而BEV空间等价于真实地面投影，车辆、行人在各模态下都能对应到同一BEV坐标位置。其次，BEVFusion实现了模态解耦 ：摄像头和激光雷达各有独立编码器，二者平等地贡献特征。这意味着当某一模态传感器失效时（如大雨中摄像头几乎看不清），另一模态仍可以单独输出结果，提高系统鲁棒性。再次，在计算效率上，作者对BEV变换过程做了大量工程优化。原本投影每像素特征需要遍历高度层，现通过缩减只计算接近地面的部分，使转换大幅加速。实验表明，BEVFusion 在 nuScenes 数据集上同时提升了检测精度和效率。它还能方便地扩展到多摄像头输入甚至加上雷达数据。由于BEVFusion的出色表现，目前许多自动驾驶感知方案都在采用或参考这一架构，将其作为多模态融合的新基线。

2. CenterFusion：基于中心点的雷达-相机融合3D检测

模型简介：CenterFusion 是提出于 2020年的一种融合毫米波雷达与摄像头进行3D目标检测的深度学习模型。它属于中间融合 策略，在图像的2D检测基础上，利用雷达点云补充深度和速度信息，从而提高3D检测的准确性，特别是对物体距离和速度的估计有显著提升。CenterFusion 名称来源于 CenterNet（一个2D检测算法）和融合思想结合：Center 指基于目标中心点检测，Fusion指融合雷达数据。

模型原理：CenterFusion 先用CenterNet （或者其3D扩展版本）对摄像头图像进行2D目标检测 ，得到图像上每个目标的中心点、2D边界框和初步类别。CenterNet是一种anchor-free 检测，直接在输出特征图上预测目标中心Heatmap。接着，对每个检测到的图像目标，CenterFusion设计了一种**"截锥体"（Frustum）关联方法，将雷达点与对应的图像目标关联。具体来说，从图像目标中心像素沿相机视锥投射到3D空间形成一个"视锥体"区域（类似一个细长的四棱锥截体），判断哪些雷达点落入该视锥范围内，就认为属于该目标。由于雷达点云稀疏，该方法有效利用了目标的2D检测结果对3D空间进行限制，使雷达数据关联变得可靠。关联到目标的雷达点如果有多个，会通过一定策略融合成一个 雷达特征向量**。CenterFusion 将这些关联的雷达信息映射回图像坐标，并在图像特征图 上生成一个雷达特征图 。简单理解，相当于为每个图像目标在特征图上添加了一些雷达引导的特征（例如深度、速度）。最后，模型将图像的卷积特征与上述雷达特征图进行融合，通过后续网络回归每个物体的3D属性（包括距离深度、3D尺寸、朝向、速度等）。整个网络结构仍以 CenterNet 为基础框架，因此速度较快且易于训练。

效果与优势：CenterFusion 在 nuScenes 数据集上对比纯相机检测取得了明显更高 的3D检测性能，特别是在速度估计上精度提升显著。因为摄像头无法直接测速度，而雷达可以直接提供速度，这一融合极大改善了车辆速度和运动方向的估计。此外，由于引入雷达的绝对尺度 信息，物体距离远近分辨更准确，减少了纯视觉检测中由于缺乏深度导致的误检或尺度误差。CenterFusion 的中期融合 方式巧妙：它并未生硬地在输入层早期融合数据，而是先检测后关联 ，避开了传感器不同频率、不同分辨率的对齐问题。而与后融合不同，它将雷达用于中间特征增强，充分利用了雷达的测距长处。CenterFusion 也证明了毫米波雷达在融合中的价值：虽然雷达点云稀疏，但通过合理算法（截锥体关联）仍能为视觉模型提供关键补充信息。总的来说，CenterFusion展示了一条轻量、高效的视觉+雷达融合路线，适合于当前许多不配备激光雷达的感知系统。在实际车载实现中，其推理仅比纯相机模型多用极少的计算，却换来更可靠的物体深度和动态估计，这对自动驾驶避障和决策有重大意义。

3. DeepFusion：激光雷达-相机深度特征融合检测

模型简介：DeepFusion 是 2022 年CVPR发表的一种多模态3D目标检测模型，提出了一套深度融合 （Deep Fusion）的框架来高效融合激光雷达点云与摄像头图像特征。它针对中级特征对齐 这一融合难点引入了两个新技术：InverseAug 和 LearnableAlign ，成功提升了多模态特征融合的精度，被认为是当时新的融合性能标杆。DeepFusion 所谓"深度融合"区别于以前的前融合和后融合，强调在深层特征阶段实现紧密耦合、学得联合特征。

主要创新点：由于激光雷达和相机数据在融合前通常经过不同的数据增强（随机旋转、缩放等）以及各自特征提取，导致特征空间不对齐 是个棘手问题。DeepFusion 的 InverseAug 方法专门为此设计：它会记录并"反转"点云和图像在数据增强中的几何变换 ，确保将两种模态特征投射到同一个坐标系中融合。例如，训练时经常对点云施加随机旋转以增强鲁棒性，但这样相机特征和点云特征就失去了原本严格的几何对应。InverseAug 的做法是在融合前，用应用在点云上的逆旋转来调整图像特征映射，重新精确对齐。这一招避免了增强导致的对齐偏差。第二个创新 LearnableAlign 则是引入可学习的跨模态注意力 机制。具体来说，在融合阶段模型使用**交叉注意力（Cross-Attention）模块，让点云特征作为Query，图像特征作为Key/Value，通过注意力计算两者的相关性权重，实现一个动态的特征对齐和融合。这种方法无需提前匹配点，而是由模型自动学习如何将每个激光雷达特征与对应的图像特征关联，大大提高了模态融合的灵活性。InverseAug保证了几何上不会错位，LearnableAlign则进一步在特征空间细调对齐关系，可以视作一种"软对齐"**策略。

网络结构：DeepFusion 在实现上可以看作是在现有单模态3D检测器 （如 PointPillars, CenterPoint 等）基础上，加入上述双模态融合模块作为插件。具体现有3D点云检测器提供激光雷达分支，典型的2D CNN提供图像分支，然后在靠近输出层的中间层插入一个融合模块：先做InverseAug调整，然后用LearnableAlign的交叉注意力将图像特征加强到点云特征上（或双向融合）。融合后的联合特征再经过少量卷积，最后由原本的3D检测头输出。DeepFusion 报告在 Waymo Open Dataset 上取得当时最好的检测精度 ，对行人等难检目标有明显提升。它也验证了这样一种理念：将相机特征融合到点云深层特征 中，比简单拼接相机原始特征要有效得多。作者实验对比如将RGB信息直接附加到每个激光点（类似 early fusion 点云染色）效果不如DeepFusion，这说明融合发生的位置和方式很关键。

意义与展望：DeepFusion 将多模态融合推进到了一个更高精度 但也更高复杂度的阶段。它几乎充分利用了两种传感器的信息来提高检测性能，但也引入了一定的计算成本（交叉注意力需要在每个点云特征和周围图像特征间计算注意力）。所幸作者仅用一层注意力，实现成本尚可接受。DeepFusion 的成功在于解决了长期困扰融合的两大问题 ：数据增强对齐 和特征空间对齐 。通过InverAug，模型不再因为训练时的随机变换而受罚；通过LearnableAlign，模型自己学会关联，比如学会将点云屋顶的点对准图像上车辆的顶部纹理特征等。从本质上，DeepFusion是一种**"中级深度融合"，相比BEVFusion在BEV空间融合，它更直接地在网络中段融合原始模态特征，融合程度更深。因此DeepFusion被称为"深度融合"框架。未来融合网络可能会借鉴其理念，继续在对齐和动态融合**上下功夫，例如结合Transformer全局关联不同模态。目前看，多传感器融合已从简单的拼接输入，发展到使用复杂神经网络结构（如双分支网络+对齐模块+注意力）的阶段，感知性能有了大幅提升。DeepFusion 作为这一阶段的代表，为日后研究提供了宝贵经验。

五、主流自动驾驶企业的传感器方案对比

全球不同自动驾驶企业在传感器配置上策略各异，可大致分为：一类是以摄像头为主 、其他传感器为辅的"视觉优先"路线，典型如特斯拉、小鹏；另一类是多传感器融合 、尤其重视激光雷达的路线，典型如 Waymo、百度 Apollo 等。此外，一些公司采取折中策略或双路线并行（如 Momenta 既研发L2级量产方案又研发L4级无人车）。下面我们选取具有代表性的几家（Tesla特斯拉、Waymo、Xpeng小鹏、Baidu Apollo百度Apollo、Momenta），对比其感知传感器配置和策略。

1. 特斯拉（Tesla）：纯视觉至上的激进路线

特斯拉是业内坚定的纯视觉方案 倡导者。其自动驾驶硬件（FSD Kit）在传感器上极为简洁：配备了8个环视摄像头 （覆盖全车360°，包含前视三目，左右B柱，后视等不同视角焦距）和12个超声波传感器 用于近距离测距。早期车型还搭载1个前向毫米波雷达，但从2021年起特斯拉取消了雷达（所谓"Tesla Vision"方案），甚至在2022年取消了超声波传感器，以纯视觉 感知为主。马斯克认为摄像头加上AI足以媲美人类司机的眼睛和大脑，雷达和激光雷达反而可能因噪声引入不确定性。因此特斯拉在感知上极端依赖8摄像头提供的视觉信息，通过端到端深度学习模型来实现环境感知和驾驶决策。今年发布的 FSD Beta V12 就是一个纯视觉的端到端大模型，让车辆根据摄像头视频直接输出转向、加减速控制。

优缺点分析：特斯拉的方案优点 在于传感器组合简单、成本低廉，易于大规模部署。它充分利用了数百万辆特斯拉车辆行驶所采集的海量摄像头数据，通过数据驱动 不断改进其视觉模型，使感知算法泛化性能越来越强。同时，特斯拉拥有业内顶尖的自动驾驶芯片（HW3/HW4），可以处理多摄像头高分辨率视频输入，辅以影子模式验证和OTA升级，其软件迭代速度极快。然而缺点也很明显：纯视觉在极端条件下可靠性不足 。例如大雪大雾中摄像头将近失明，而无雷达激光的车辆基本丧失感知能力，这在安全冗余上是质疑点。此外，纯视觉对算法要求极高，要达到L4必须解决所有corner case，这难度可想而知。马斯克固执地移除雷达曾引发争议，一些自动驾驶业内人士认为纯视觉方案只适合L2/L2+，要真正无人驾驶还是需要多传感器冗余。特斯拉最新动态是可能重新引入高分辨率4D雷达 以改善恶劣天气表现，但截至2025年其量产车基本还是纯摄像头。总之，特斯拉走的是一条"以软件和数据弥补硬件不足 "的路，通过超大规模数据+强大AI来挑战传感器硬件的极限。

2. Waymo（谷歌）：多传感器豪华套件的保守稳健派

Waymo 作为谷歌自动驾驶部门，是多传感器融合路线 最典型的代表。Waymo 的无人车（第5代、第6代 Waymo Driver）可谓传感器"武装到牙齿"：车顶1个 360°机械激光雷达，车前、车后各1个中距离激光雷达，车身四周共有共4个激光雷达 ；车身周围还安装了6个毫米波雷达 覆盖各方向；摄像头更多达13个 ，包括环视和远距摄像头，并新增了多个麦克风阵列 作为辅助听觉传感器。据官方公布，Waymo第6代传感套件总计13摄像头、4激光雷达、6雷达 。这样豪华的配置带来强大的环境感知覆盖：360°无死角、高精3D点云、高帧率多普勒速度以及音频线索。Waymo 甚至研制了自己的激光雷达（如 Laser Bear Honeycomb），以机械旋转+高级光学实现高性能。不过2021年后Waymo停止对外卖雷达，将精力聚焦于自家无人车业务。Waymo 这种不惜成本的配置追求最高的安全冗余和感知精度，确保在无人出租车运营中把风险降到最低。例如，在凤凰城运营时，Waymo车辆完全无驾驶员，依赖传感器感知+远程辅助，每辆车都相当于一个流动的"传感器炮台"。

优缺点分析：Waymo 的多传感器方案优点 显而易见：凭借激光+雷达+视觉+听觉的组合，它几乎可在各种天气下"视"遍周围。激光雷达提供准确3D测绘，雷达提供速度和远距，摄像头提供颜色语义，音频传感器还能听出紧急车辆的警笛------多模态信息极大提高了系统鲁棒性和安全冗余。因此Waymo成为业内首个真正拿掉安全员运行RoboTaxi服务的公司，至2020年起在凤凰城部分地区向公众开放全无人驾驶叫车服务。然而缺点在于昂贵且量产难。Waymo每辆车传感器成本曾高达数万美元（虽有下降趋势，但依然不菲），且传感器外露影响美观和风阻，加上数据处理和标定维护难度大，难以短期内应用到私家车或平价车型。Waymo 走的是**"性能第一、成本第二"**的Robotaxi技术路线，不直接考虑消费市场。目前看这种方案在限定区域L4接送服务上运行良好，但尚不具备大规模推广到普通乘用车的经济性。值得关注的是，Waymo第6代系统已经把成本降到 7.5万美元左右整车（包含传感器），并计划进一步降低。总之，Waymo代表了自动驾驶感知的"最强阵容"，用多重冗余确保安全，适合于对安全要求极高的无人出租场景。

3. 小鹏汽车：从激光雷达到纯视觉的探索之路

小鹏汽车是国内新势力中在自动驾驶感知上投入较大的代表。其早期Xpilot 2.5使用摄像头+毫米波雷达为主，到了Xpilot 3.0 在国内率先上了前向双激光雷达 （P5车型搭载2个激光雷达）。具体而言，小鹏 P5/P7 车型配置包括：13~14个摄像头（其中前方三目摄像头、侧后视摄像头等）、5个毫米波雷达、12超声波雷达，再加2个车头激光雷达 （Livox 离线旋镜式）。这一套件让小鹏一度以"激光雷达上车量产第一"自居，具备高速NGP和城市NGP功能，感知能力在国产品牌中领先。然而2023年下半年，小鹏发生了重大策略转变：CEO何小鹏在体验了特斯拉FSD V12后，决定新车型取消激光雷达，转向纯视觉方案。小鹏在新推出的G6车型上已经去掉了激光雷达，仅保留高像素摄像头与雷达感知（传言由于成本与软件迟滞问题）。官方表态称，随着视觉大模型的突破，他们对纯视觉+高性能算力的路线有信心赶上甚至超越原先传感器融合方案。

优缺点分析：小鹏曾经的"两激光雷达+摄像头"方案在感知性能上相对出色，使其成为国内首个在繁杂城市道路实现较可靠导航辅助驾驶的量产车（城市NGP）提供者。这套方案优点是：激光雷达提供稳健的三维感知，弥补摄像头在夜间和测距上的不足，尤其对国内复杂路况（行人、电动车、施工障碍等）探测准确率更高。缺点在于：激光雷达方案成本高、供应链受制于人（当时国内激光雷达量产爬坡，产能有限），而且多传感器融合算法开发复杂、调试周期长。小鹏的软件进展没跟上硬件投入，3.5版本城市NGP在一些城市推迟上线。目睹特斯拉FSD的大模型方案后，小鹏选择All in深度学习 ，削减传感器改走纯视觉类似路线，希望借助端到端AI提升。这样做利：成本下降、整车设计简洁，同时押注大模型有可能弯道超车。弊：短期内感知可靠性可能下降，用户对取消激光雷达也有疑虑。这反映了行业一个趋势：在L2级量产上，视觉方案具有成本和数据量优势，而激光雷达方案在性价比上暂时劣势明显。小鹏的探索代表了一种折中和摇摆 ：先试激光雷达融合，后来又转向纯视觉。最终效果如何有待市场检验。如果其算法不能达到特斯拉同等水准，则舍弃激光雷达可能导致体验退步。但如果端到端做得好，则能用低成本实现接近效果。这步棋对小鹏来说风险不小，但体现出成本驱动在量产自动驾驶中的重要性。

4. 百度 Apollo：开放平台与三套方案并举

百度 Apollo 是国内较早从事自动驾驶的领军者，其策略有些与众不同：Apollo 不直接造很多整车卖，而是开放平台 加自营Robotaxi 双线推进。在传感器上，百度一开始就很重视激光雷达，高精地图等。在 Apollo 测试车中，通常配备顶置激光雷达、多目相机、毫米波雷达的组合，与 Waymo 类似偏重"多传感器"。Apollo 团队为车企提供 L2-L3 方案（ANP自动导航驾驶、AVP自主泊车等）时，也提供有包含激光雷达的版本。例如与威马合作的 Apollo 生态车型搭载了前向激光雷达。据报道，百度打造的第五代Robotaxi Apollo Moon成本降至50万元人民币，传感器配置上在量产车ANP方案基础上增加1颗定制激光雷达 及必要的冗余硬件。可见百度有两套：ANP量产方案 （主打车企前装，低成本，以摄像头+雷达为主），Apollo无人车方案 （高配激光雷达，多传感器，追求L4）。此外百度和吉利合资推出的"集度汽车"也宣布未来车型会搭载激光雷达等传感器，定位L4，但尚未大规模落地。百度的优势在于AI算法和高精地图 ，因此Apollo很强调"有图模式"感知，即依赖高清地图提供先验。在特定园区/特定线路运营时，Apollo车辆甚至可以减少部分传感器，依靠车路协同弥补。比如 Apollo 与极狐合作的无人车搭载了5颗激光雷达（车顶+车侧），但Apollo新一代 RT6 去除了8颗激光雷达，只保留Apollo ANP类似的传感器套件，将激光雷达下放到路端做车路协同。

优缺点分析：百度Apollo体现出灵活的传感器策略 ：针对不同应用场景采用不同配置------量产乘用车考虑成本，激光雷达可选可不选；无人运营车考虑安全，则尽可能加传感器冗余。这种三管齐下 模式使百度能够兼顾当前商业落地（L2级别产品）和未来无人驾驶（Robotaxi运营）。Apollo的传感器方案优点在于开放性 ：它不拘泥于某一套，车企客户可以选配。例如有主机厂想低配，那就摄像头+毫米波+高精地图；如果主机厂愿意高配，则加激光雷达上去。百度自己的RoboTaxi则在不断降本中探索最佳方案。Apollo Moon能把成本做到50万，其中传感器部分做了极大优化。Apollo第6代车（RT6）更是采用前装平台，集成8颗激光雷达 但隐藏融合在车身，整车成本进一步降到25万元。它有意思的地方在于：RT6其实去掉8颗激光雷达就等于ANP方案 。换言之，Apollo把传感器模块设计成可拆卸，如果某天法规允许无人车上路，就装上激光雷达跑L4；如果不允许，就当高级辅助驾驶车用。缺点方面，百度在乘用车市场进展较慢，Apollo系统至今没有大规模量产上车（与广汽埃安合作量产被传推迟等）。相比造车新势力自研，小鹏华为们已经跑到前面。而Robotaxi市场商业模式尚不清晰，百度虽技术先进，但盈利模式还在探索。因此Apollo的传感器策略虽然技术上灵活，但市场检验不足。未来其成败要看能否和集度车型结合，在私人用车市场跑起来。纯技术上看，Apollo在传感器融合和多传感冗余上积累深厚，高精地图是独门武器，与其传感器结合能够实现**"传感+地图+通信"**的综合感知（V2X 辅助等），这也是Apollo区别于其他几家的特色。

5. Momenta：双线并行的数据驱动派

Momenta 是一家中国特色的自动驾驶公司。其特别之处在于采取**"双路线战略"：一方面为车企提供 可量产L2/L3方案 Mpilot**，另一方面研发完全无人驾驶方案 MSD 用于未来Robotaxi。在传感器上，Momenta的 Mpilot 强调"可量产传感器为基础 "，一般指摄像头+毫米波雷达为主，符合主机厂成本要求。例如 Momenta 与上汽合作的 NOP 智能导航系统使用多摄像头+1固态激光雷达（或者无激光，仅视觉），以满足L2+功能。Momenta的无人驾驶原型车，则会增加激光雷达等高端传感器测试（曾与丰田合作车辆上装有凸顶激光雷达）。Momenta最大的卖点在于数据闭环 ：通过量产车Mpilot系统上路，源源不断收集真实路况数据，利用其"飞轮"数据系统自动筛选长尾场景，训练算法迭代，反哺高阶自动驾驶开发。这种策略类似特斯拉，利用规模量产数据来推动技术升级。因此Momenta在传感器选择上也较为务实：量产部分不追求激光雷达，成本和车规为先；无人车部分暂不急于商业，可用贵传感器堆效果，再把经验迁移到量产。Momenta曾放出不用高精地图、纯视觉实现城市自动驾驶的演示，也表示未来要逐步弱化对激光雷达依赖，用更强AI代替。

优缺点分析：Momenta的策略优点是兼顾当下与长远 ：通过给主机厂输出方案活得收入和数据，同时研发前沿无人驾驶保持技术领先。其Mpilot传感器配置较保守，但因此成本低易商业化。缺点是两条线资源摊薄，在激烈竞争中需要平衡。具体感知上，Momenta的量产方案与华为、特斯拉有相似之处，都是依赖多摄像头+AI算法 ，激光雷达可选可不选。所以在视觉感知方面Momenta投入很大，做end-to-end神经网络，也用BEV感知融合理念，提高纯视觉能力。Momenta 强调数据为王 ，认为算法成熟后，数据是提升表现的主力，这点与特斯拉高度一致。然而挑战在于：国内路况比美国复杂很多，如果没有激光雷达等辅助，要做到很安全难度更高。此外，不同车型不同传感器带来的数据通用性 问题也是挑战------视觉数据跨车型较容易复用，但雷达、激光数据差异大，收集再多也难通用。Momenta 本质上也是押注AI进步能解决感知难题，所以在后续产品中也可能逐步减少雷达/激光数量以降低成本（比如只用前向一颗高分辨率雷达+多目视觉）。总的来说，Momenta代表了国内一批初创的思路：用L2量产养活公司并获取数据，用数据驱动算法升级，再反哺更高等级系统。在传感器上因此趋向于**"够用就好"**，而不是一味堆料，这跟Waymo那种Tech Giant思路有区别，更贴合产业现实。

（以上对比表格略）

六、工程落地中的关键挑战与实践建议

将自动驾驶传感器系统从原型带入实际量产和运营，还需要克服一系列工程挑战。除了传感器本身硬件性能，感知系统工程 需要关注时间同步 、空间标定 、冗余容错 、校准维护等方面，确保在真实环境中长期稳定运行。下面结合实践经验提出若干关键要点和建议：

时间同步（Time Sync）：多传感器数据只有在时间基准统一 的情况下才能正确融合。如果摄像头图像和激光雷达点云不同步，高速行驶下同一物体会在两传感器坐标出现"位置错位"或"幽灵"。工程上应采用硬件和软件结合的同步方案：使用GPS授时 或主时钟（如PTP时钟）同步各传感器时间戳；利用触发信号，让激光雷达旋转到某角度时触发相机曝光，从而精确对应每个点云与图像帧。在软件层面，可对不同频率的传感器数据进行时间对齐插值或缓存，尽量使用时间最近的组合。对于存在固有延迟的摄像头，可估计延迟并补偿。总之，要实现毫秒级同步，并考虑网络传输延迟，将同步误差控制在系统允许范围内（如 <10ms）。测试中要设计"鬼影测试"（不同步导致的目标重影）来验证同步效果。
坐标系管理与标定（Calibration）：每个传感器都有自己的坐标系 ，需要通过外参标定转换到车辆统一坐标。标定精度要求极高：毫米级位置和0.1°级角度误差都会显著影响融合效果。因此生产和使用中需要完善的标定流程。静态标定 阶段，可采用标定板 或特征法 ：例如利用带棋盘格的标定板同时被相机拍摄和激光扫描，以解算相机-激光雷达外参；或采用开源工具（如 AutowareCalibrationKit）通过优化匹配自然特征点云图像推定外参。在线标定 方面，车辆在运行过程中需持续自校准 ：利用传感器观察到的环境特征微调外参。例如比对激光点云投影与摄像头边缘图像的吻合度，长期积分调整，补偿由于温差、机械冲击导致的外参漂移。建议每隔一定里程或时间进行自动校准，对比是否外参有变化，或者在车内布置固定标定物做定期校准。对于IMU、里程计等，也要标定安装角度和偏差。只有高精度标定 才能保证各传感器信息融合准确无误。另外，坐标系管理需要规范命名和变换链的实现，开发中应建立集中式的坐标变换模块，避免手工转换错误。
冗余策略与传感器失效处理：在工程上必须假设传感器可能会部分失效 或性能下降，因此需要冗余架构和降级策略。冗余有两种：同类传感器冗余 （如前方配置2个摄像头或多个雷达覆盖重叠区域，防止单点故障），以及跨模态冗余 （不同传感器在功能上互补，例如相机看不到时雷达顶上）。主机厂在设计感知方案时要根据 ODD 做平衡：对于高速场景，前向长距雷达和前向摄像头双冗余不可少；对于泊车低速场景，多超声波雷达冗余覆盖360°有帮助。系统运行时，要实时监测各传感器状态（心跳、温度、信号质量）。一旦检测到某传感器读数异常或失效，立即触发感知降级 模式：用其他传感器信息继续提供基本环境感知，并通知上层规划限制车辆行为（如降低车速甚至请求接管）。例如摄像头因泥污致盲时，可切换为雷达主导的避障模式，同时给出清洗摄像头提醒；若前雷达故障，可临时依赖相机+LiDAR维持巡航，但减速以保守行驶。这些降级策略需要在安全分析基础上设计，并通过模拟和封闭场地测试验证其有效性，确保即使单点传感器失效，车辆依然安全可控。
传感器校准与维护：在量产和运营阶段，传感器的一致性 和持续校准 非常重要。针对量产，每辆车下线要经过传感器校准工序，建立出厂标定参数 。之后在使用周期中，传感器可能发生偏移（例如轻微碰撞导致相机角度变化）或者性能衰减（激光雷达因积尘、镜头老化）。因此建议：车辆应配备自动校准任务 ，例如每次上电或定期在具备特定特征的环境中执行自校准算法。此外，要设计诊断系统 来评估传感器健康：定期检查激光雷达点云密度、噪声水平，摄像头图像清晰度，雷达天线状态等。一旦发现明显偏差，则提示人工维护。运营车队（如Robotaxi）则需制定例行保养 ，包括擦拭摄像头和雷达罩、校准激光雷达角度等。对于安装部件，应有防松动定位 设计，重要外参处加定位销或采用抗振支架。即便如此，也要有一套简便的现场标定方法，当怀疑标定失准时，工程师可快速重标定。此外，软件层面也可引入容错机制 ：在感知算法中考虑轻微外参漂移的可能，通过观测反馈自动补偿一定范围内的误差（比如将检测的路标与地图比对，慢慢修正相机Pitch角）。总之，把校准维护流程化、工具化，才能保障每台车在不同时间都保持最佳传感性能。
**其他实践建议：**感知系统工程细节繁多，还包括：带宽与时延管理 ------确保传感器数据经网络总线传输不过载、无明显延迟和丢包，采用高速总线或压缩算法；功耗与散热 ------激光雷达和相机在高温下性能会下降，要有散热设计和功耗控制；清洁与防护 ------摄像头镜头要防尘、防水，必要时加电子除雾加热，激光雷达转子部位注意密封防沙尘；法律法规------一些传感器例如摄像头采集人脸可能涉及隐私，要遵守法规进行数据加密处理等。这些都是在量产工程化时需要考虑的因素。在测试方面，必须设计包含各种天气、光照条件的场景测试传感器融合效果，如夜晚、高低太阳角度、暴雨等情形，验证系统是否按照预期降级或仍能感知。对于冗余传感器，要测试人为禁用其中之一看系统反应是否安全。通过大量场景和里程的验证，不断改进工程设计。

概括而言，工程落地需要抱着"严谨 redundancies、守正安全 "的心态，把感知系统各个环节做到万无一失。任何实验室里表现优异的感知算法，若缺少扎实的工程支撑，都无法真正部署在车规环境。反之，重视同步、标定、冗余和维护，就能使传感器性能持久稳定地发挥，为自动驾驶安全可靠运行保驾护航。

七、不同场景下的传感器协同与配置推荐

最后，我们对五大传感器在自动驾驶系统中的协同分工关系进行总结，并根据不同 ODD（Operational Design Domain，运行设计域）给出传感器配置的建议。

**协同分工总结：**摄像头、激光雷达、毫米波雷达、IMU、GNSS 五种传感器各司其职，又相互配合，形成一个完整的感知定位体系：

摄像头 充当"主视觉"，提供丰富的语义信息（识别交通信号、人车类别、道路标识等），是感知系统理解环境语义的主要来源。但其距离和速度信息需由其他传感器补充。
激光雷达 扮演"3D测绘师"，准确勾勒出周边环境的三维几何结构，特别擅长检测静态或低速障碍物的位置和形状。它与摄像头配合，一个给出结构，一个给出语义，两者结合可以实现对障碍物又"看清"又"看懂"。
毫米波雷达 担当"运动捕手"，对运动目标（特别是车辆）进行远距离探测和直接测速。雷达在恶劣天气下兢兢业业，即使视觉和激光退化，它仍提供基本的碰撞预警，是安全冗余的关键。
IMU 作为"动态感应器"，实时跟踪车辆自身的运动姿态，为感知算法提供车辆位置的短时预测和稳定参考。它跟GNSS一起融合，让车辆既知道"自己动了多少"又知道"自己在哪里"。
GNSS 则是"定位基石"，赋予车辆全球定位能力，让车辆在地图坐标系中找到自己，并提供绝对速度（对地速度）参考。尤其在长途和开阔环境中，GNSS给出精准位置，从宏观上校准了感知结果在全局的位置。

可以这样比喻：摄像头和激光雷达是一对眼睛，一个识色一个测距；毫米波雷达是第"三只眼"，在黑暗中视物（恶劣天候）并测速度；IMU像人的前庭器官，感觉自身运动；GNSS类似GPS导航，告诉你在地图上的坐标。五者融合，方能让自动驾驶汽车"看得广，知几何，辨万物，明自身，识天地"。

**ODD场景配置推荐：**不同自动驾驶应用场景，对传感器配置的要求不同，以下给出几种典型 ODD 的配置建议：

高速公路（Highway）场景：这是相对规则的场景，车速高、车道清晰、行人非机动车极少。推荐配置前向三摄像头 （长焦+中焦+广角）覆盖近中远，以及前保险杠左右各1个广角摄像头 监视并线盲区。前向长距毫米波雷达 必不可少，探测200m外车辆；前角中距雷达 2个，监测相邻车道车辆。激光雷达可选用1个中长距激光雷达 （如120°FOV，探测250m）置于车顶前沿或中网上，以提升对静止障碍物的探测能力。IMU+高精GNSS组合一定要有，用于实现车道级精准定位和高速工况的平滑控制。高速场景相对简单，所以单枚激光雷达+多相机+多雷达的组合已足够，实现L3级NoA没有问题。例如奔驰Drive Pilot就在前挡和中网布置一颗激光雷达、一个长距雷达，再加多摄像头实现L3。
城市道路（Urban city）场景：复杂度高，有行人、自行车、车道多且无规则、障碍物种类多。推荐环视摄像头 共8个以上（前向3个、侧前左右各1、侧后各1、后向1），确保交叉路口无盲区，且分辨率高一些以识别人脸手势、交通灯箭头等细节。激光雷达强烈建议多配置 ：顶置360°激光雷达 1个看全局，再在车头两侧各一个短距广角激光雷达，覆盖转弯处行人盲区。毫米波雷达则在车身四角各一个中短距，前后再各一个，保证360°车辆检测连续覆盖。GNSS在城市易受遮挡，但仍需配RTK以提供全局参考，同时视觉/激光的SLAM 方案也要融合进定位，构建多源鲁棒定位。IMU这里作用更大，因为GNSS时有中断，需要IMU与视觉里程计共同渡过。城市工况强烈推荐使用高精地图 辅助（如果法规允许），传感器上则应增加道路边缘、红绿灯感知的能力，例如在车顶加个高空摄像头 专门看交通灯。总之城市场景下采用"广覆盖+多模态高冗余"是关键，摄像头+激光雷达双主传感，雷达兜底，融合定位，方能应对人车混杂的挑战。
泊车/低速场景：如自动泊车、园区低速小车。这类场景速度低但环境紧凑，有许多近距离障碍。传感器配置上可弱化长距能力但要加强近距全覆盖。全车360°环视摄像头至少4个（典型车载全景泊车系统），加超声波雷达若干实现贴身障碍检测。毫米波雷达可选短距类型替代超声波，有一定优势（雨天可用）。激光雷达不一定需要远距，但鱼眼型激光雷达/深度相机放在车头车尾可辅助检测地面低矮障碍物。IMU和GNSS在停车场里帮助不大，但高清环视摄像头 + 车位地图 则很有用。因此泊车方案传感器可经济一些，以视觉+超声波为主。Momenta等公司有视觉融合超声的纯摄像头泊车方案。若要更稳健，也可在车头车尾各加一个广角激光，避障性能更佳。低速场景对计算实时性要求低，可以整合传感器数据做精细SLAM定位停车。这类ODD重点是低成本和易部署，所以一般不追求昂贵激光，相机超声即可满足L4泊车，如特斯拉用于AutoPark就只用8摄像头+12超声波。
极端天气/夜晚场景：针对大雾、大雨、大雪、无光等恶劣条件，需要特殊传感器加持。热成像红外摄像头 可作为摄像头子集，在夜晚和烟雾中探测到行人热源；高动态范围可见光相机和激光补光在夜晚也有帮助。毫米波雷达在大雨中也会性能下滑（雨滴杂波），此时低频段雷达（比如24GHz）反而穿透性好一些。若常遇极端天气，如矿区沙尘暴、冻雨等，建议配备两套以上互补传感器：例如视觉 + 雷达 + 声呐 （被动听音探测周围碰撞声响）等。自动驾驶系统需能识别传感器被恶劣天气严重干扰的情况，然后缓慢停车或进入安全模式。因此对于极端ODD，冗余 + 监测 尤为关键。如有条件，车路协同也是保障手段，路侧传感器提供额外环境感知来弥补车载不足。

综合来说，不同 ODD 下传感器配置有所偏重：高速重视远距，城市重视全方位和语义，泊车重视近距细节，恶劣天气重视多模态冗余。选择时要在成本、性能、法规之间权衡。目前主流自动驾驶产品在高速和城市场景多采用**"摄像头+毫米波雷达基础，加激光雷达增强"的思路，以实现安全裕度。而低成本L2产品倾向 "多摄像头+低成本雷达，无激光"**路线，借助算法提升弥补硬件短板。未来随着传感器价格下降和性能提升，摄像头、激光雷达、毫米波雷达三剑客融合可能成为标配，为各种ODD提供全方位感知；IMU和GNSS则作为隐形支撑一直存在，为定位和同步服务，不断提高自动驾驶的可靠和准确程度。

结语：自动驾驶常用的五大传感器------Camera、LiDAR、Radar、IMU、GNSS------正如一支团队中的不同角色，各自解决了一部分感知难题，又通过融合协作弥补彼此短板。只有将它们有机结合，才能构建一套全天候、全方位、高精度的感知系统，为无人驾驶车辆保驾护航。当前，产业界对于传感器方案有不同理念之争（纯视觉vs多传感），但从技术演进看，多模态融合仍是实现高等级自动驾驶的稳健途径。当然，感知并非越多传感器越好，还须结合具体ODD和成本要求量身定制配置，实现性价比最优。无论方案如何演变，扎实的工程落地能力（标定、同步、冗余等）都是不可或缺的底色。

可以预见，未来几年传感器将进一步发展：比如更高像素和智能前端的摄像头、固态激光雷达大规模量产普及、4D成像雷达提升分辨率、低成本高精度惯导芯片涌现、星基增强的厘米级定位覆盖全球等等。这些进步将继续拓宽自动驾驶感知的边界。当有一天，我们或许真的能只用摄像头和AI达到如今全传感器方案的效果，那时再回看当初激烈讨论的传感器组合问题，可能已有了答案。但无论何种传感器方案，实现安全可靠的自动驾驶始终是业界共同目标。因此，与其纠结路线之争，不如踏实磨砺每一个传感器的能力，优化每一种融合的算法。让车"看得见"、"看得清"、"看得懂"，这本身就是一件充满挑战又意义非凡的事。相信在摄像头、激光雷达、雷达等"千里眼"和IMU、GNSS等"顺风耳"的通力合作下，真正无人驾驶的时代终将加速驶来！

参考文献：

【7】OFweek《如何确保自动驾驶汽车感知的准确性？》智驾最前沿，2025
【10】navynav博客《自动驾驶为啥离不开北斗定位？》，2025
【12】腾讯云社区《激光SLAM算法方案介绍》，用户2423478，2025
【14】CSDN博客《毫米波雷达点云DBSCAN聚类算法》，2023
【20】百度学术摘要《基于毫米波雷达的多目标检测与跟踪技术研究》，王瑞昕，2020
【21】CSDN博客《介绍一下BEV Fusion网络结构》，2025
【22】CSDN博客《CenterFusion: Radar and Camera Fusion for 3D Detection》翻译，2023
【24】CSDN博客《DeepFusion: 激光雷达和相机深度融合3D检测》，同济智能汽车研究所译，2024
【28】电子工程专辑《各整车厂及方案供应商的自动驾驶系统策略分析》，2022
【30】电子工程专辑《自动驾驶系统策略分析-方案供应商篇》，2022
【31】电子工程专辑《百度Apollo战略分析》，2022
【32】新出行文章《百度Apollo RT6成本25万揭秘》，2022
【39】key-iot智驾星闻《国内外无人驾驶技术大对比 -- 华为/小鹏/特斯拉/百度/谷歌谁更强？》，2025