避障系统的传感器选型,长期存在一个误区:把相机与激光雷达看成二选一的关系。工程实践中的结论恰好相反------两者的失效条件几乎不重叠,因此真正要解决的问题不是"选谁",而是"怎么让它们协同"。深度相机提供稠密的纹理与轮廓,能够识别低矮台阶、悬空横杆、细杆这类反射面积小或不在常规扫描平面上的目标,但在强光、逆光、雨雾条件下深度质量会下降;激光雷达测距稳定、方位全向、不受光照影响,但点云稀疏,缺少纹理,对细小与悬空目标的分辨能力有限。本文按"互补的必要性 → 时基统一 → 外参标定 → 算力承载 → 布局设计 → 融合层次 → 输出口径"的顺序,说明硬件融合的工程要点。文中只做定性描述,不涉及具体型号与实测数据。

一、互补性来自失效条件的不重叠
把两类传感器的特性放在一张表里看,互补关系会更清楚。
| 维度 | 深度相机 | 激光雷达 |
|---|---|---|
| 数据形式 | 稠密纹理 + 深度图 | 稀疏点云 |
| 主要优势 | 轮廓、语义、低矮/悬空/细杆目标 | 测距稳定、方位全向、昼夜一致 |
| 主要短板 | 强光、逆光、雨雾影响大;视场呈锥形 | 点稀疏、无纹理;细小与悬空目标分辨有限 |
| 典型失效场景 | 直射强光、雨雾、低纹理墙面 | 玻璃、镜面、稀疏小目标 |
| 距离特性 | 近距细节好,远处发散 | 中远距稳定,近处有最低扫描面限制 |
从表里可以读出一个关键判断:两者的短板并不重合。相机在光照条件恶化时退化,雷达在目标反射特性不利时退化;相机在远距离发散,雷达在近距存在扫描盲区。这正是硬件融合的价值来源------不是让精度再高一档,而是让系统在单传感器失效的场景下仍然可用。
需要提醒的是,这里说的"互补"不等于"冗余"。冗余是两套传感器测同一件事,坏一套还有一套;互补是两套传感器测不同的事,缺一套就丢一类信息。融合方案要做的是后者。
二、时基统一:硬件触发与共用时钟
时间不同步,后面所有的空间对齐都会失真。
相机按帧输出,雷达按圈输出,两者各有自己的采集节拍。融合层要比较的"同一个障碍",前提是两条数据的时间戳落在同一条时间轴上。车身运动时,时间偏差会直接映射为位置偏差:同样的时间误差,车速越高,位置误差越大,融合结果里就会出现"点投偏了"的现象。
硬件层面有两类常见做法。
第一类是硬触发。由统一的触发源产生周期性同步信号,分发给各传感器,让它们在物理层面对齐采集时刻。这种方式的特点是抖动小、确定性好,缺点是布线增加,且需要传感器本身支持外部触发输入。
第二类是共用时钟。各设备通过网络时间协议之类的机制对齐到同一时基,保持长期一致。这种方式布线简单、扩展性好,但对网络质量和设备时钟同步能力有依赖,收敛需要时间,短时抖动通常大于硬触发。
| 方式 | 布线 | 同步确定性 | 适用情形 |
|---|---|---|---|
| 硬触发 | 需同步信号线 | 高,抖动小 | 多传感器刚性安装、要求逐帧对齐 |
| 共用时钟 | 走网络 | 长期一致性较好,短时抖动较大 | 分布式布置、传感器数量多 |
两种方式并不互斥,实际系统中常常并存:用共用时钟维持长期时基一致,用硬触发保证关键采集时刻严格对齐。
比选用哪种方式更容易被忽略的,是时间戳记录的位置。如果时间戳在数据返回主机之后由软件补打,那么读出、封装、传输、驱动排队这几段延迟都会被计入,而这些延迟随负载波动,不具备稳定的可补偿性。时间戳在传感器源头生成,才是可对齐的前提。
三、外参标定:把点投到像素上
空间对齐的目标可以用一句话概括:雷达报出的一个点,能够对应到图像上的像素位置;图像上识别出的目标,也能对应到雷达的一簇点。
实现方式是对两个传感器做外参标定,求出各自的坐标系到统一参考系之间的刚体变换。这一步在工程中有两个反复出现的坑。
第一个坑是把标定当成一次性工作。标定通常在实验室或产线完成,但设备装车、经历振动、温度变化之后,外参会发生漂移。表现形式往往是"近处看着没问题,远处点落在目标旁边的地面上"。因此外参需要在全生命周期内复核,而不是签收即归档。
第二个坑是低估误差的距离放大效应。旋转方向上的微小标定误差,随着距离增加会被放大成可观的横向偏移。这意味着评估标定质量不能只看近处的标定板是否对齐,还要关注实际工作距离上的投影一致性。
从工程实现角度看,标定之外还需要保留一条可验证的链路:在系统运行中能够观察到点云与图像的对齐状态,出现异常时能定位到是标定漂移、时基偏移还是单传感器本身的故障,而不是笼统地归因于"融合算法不行"。
四、算力承载:接口要在方案初期留出
两类传感器的数据量、接口形式和时序特征都不同,需要由同一个计算平台分路接入。典型方案是边缘计算盒子或车载域控,相机与雷达各自占用独立的物理通道与中断资源,避免互相抢占链路带宽和处理时间。
选平台时有两个接口必须在方案初期就留出位置:
- 同步接口。用于接入外部触发信号或时钟参考。缺少它,硬件触发方案无法落地,只能退化为软件时间戳对齐。
- 时间戳接口。用于接收传感器源头生成的时间信息,并在数据入库时保持其原始性,不被后续处理覆盖或重写。
这两项如果初期没有规划,后期往往只能以软件方式近似替代,融合精度随之受限,严重时甚至需要更换硬件平台重新设计。
另一个与算力相关的工程问题是数据通路的确定性。避障是实时任务,融合结果的延迟上限比平均延迟更重要。分路接入、独立缓冲、避免共享链路上的拥塞,都是为了保证最坏情况下的响应时间可控。
五、布局设计:先标盲区,再定安装点
布局对避障效果的影响,往往比算法选择更早、也更大。
一个较为稳妥的基本思路是:雷达居中、安装在偏高位置,水平扫描覆盖四周方位;相机则用于补充雷达覆盖不到的区域,包括车体近距、雷达最低扫描面以下的低矮障碍,以及被车体自身遮挡的部分。
这里有一个经常被忽略的事实------车体本身也是遮挡物。雷达安装在车头,车头两侧与正下方会形成固定盲区;相机安装在立柱上,立柱自身会遮掉一块视野。因此合理的流程是先把盲区在地面投影上标清楚,再决定每个安装点放哪一类传感器,而不是先选位置再补盲区。
安装高度与俯角需要与车身尺寸、离地间隙一起考虑。安装位置偏高,近处会形成盲区;偏低则容易受到地面杂波和扬尘干扰。这一参数不存在通用取值,必须结合具体车型与作业环境确定。
六、融合层次与工况选型
融合可以发生在不同层次。最外层是后融合:两路各自完成检测,最后合并障碍列表。更靠内的是把雷达点投影到图像平面,与图像信息联合判断。越早合并,信息损失越少,但对时基精度、标定精度的要求越高,算力开销也越大。
| 融合层次 | 信息损失 | 对时基/标定要求 | 算力开销 |
|---|---|---|---|
| 后融合(结果级) | 较大 | 较低 | 较低 |
| 投影关联(数据级) | 较小 | 较高 | 较高 |
工况维度上,选型逻辑可以简化为按传感器的强项分工:强光、雨雾、夜间等相机不占优的场景以雷达为主;仓储窄通道、货架之间、玻璃幕墙附近等需要细节分辨的场景由相机补充。两者不是互相替代,而是各自覆盖对方失效的条件。
七、输出口径:统一障碍列表
融合层的最后一步是输出。无论中间用了多少路传感器、采用了哪一层融合,对下游规划控制而言,接口应当是一份统一的障碍列表,包含位置、距离与方位,而不包含"这条信息来自哪个传感器"。
这样做有三个好处:下游模块不需要理解传感器差异,行为逻辑与传感器数量解耦;替换或增减传感器时,下游无需修改;融合层内部的置信度、来源标记等信息,可以在融合层内部使用,而不必泄漏到控制接口上。
八、小结
避障相机与激光雷达的硬件融合,本质上是在共性接口上做四件事:用硬触发或共用时钟把两者放到同一条时间轴上,用外参标定把两者放到同一个坐标系里,用带同步与时间戳接口的计算平台统一承载,用先标盲区再定点的布局让两者的覆盖范围互补。融合放在结果级还是数据级,取决于工况与预算;输出则统一成一份障碍列表交给下游。传感器各有所长,融合方案的价值就在于让这些长处能够叠加,而不是让短板互相掩盖。
【备选标题】
- 避障相机与激光雷达的硬件融合:时基、外参、算力与布局的工程实现
- 相机与雷达怎么做硬件融合?从时基统一到外参标定的完整链路
- 避障多传感器融合的四个硬件支点:触发、标定、算力、布局