自动驾驶中的传感器技术77——Sensor Fusion（0）

本文总结各传感器的算法

1、传感器算法汇总归类

传感器类型	功能参数配置	参数标定	信号处理	感知	感知融合
Camera	可调参数设置 https://metaso.cn/search-v2/8669902464711499777	内参标定外参标定	ISP算法	感知算法	融合算法
Lidar	扫描频率、回波阈值等	内参标定外参标定	点云生成算法	感知算法
Radar	波形配置	外参标定	点云与目标生成算法	感知算法
USS	配置	外参标定	点云生成算法	感知算法
GNSS	内部通道配置，如ADC、Filter、AGC等	伪距前的data解析	SPP	利用RawData进行PPP等算法	融合算法
IMU	ADC、Filter配置	标定、温补、Calibration；	在线校准；DR算法		融合算法

2、功能参数配置

除了各自的内部参数，所有传感器都有一个共同的、至关重要的配置：安装位置与角度（6-DOF）。

x, y, z: 传感器相对于车身坐标系原点（通常是后轴中心）的平移距离。
roll, pitch, yaw: 传感器的旋转角度。

如果外参配置错误，激光雷达看到的障碍物就无法准确投影到摄像头图像上，自动驾驶系统就会发生严重的判断失误。

2.1 摄像头

尽管Camera都有后端 ISP进行图像处理，但是对CIS芯片的预先配置与初始化依然是决定最终成像质量的基础，必须对 CIS 进行细化的寄存器配置。这些配置包括

光电转换与时序控制：包括曝光策略（积分时间范围、长短帧结合方式）以及CIS内部采样率的设定。这涉及对帧率（Frame Rate）、消隐期（Blanking）以及读出模式（如 Binning 或 Skipping）的配置，以确保传感器在不同光照下的响应速度与信噪比平衡。

模拟前端增益控制：针对 R、G、B 以及高感光的 C通道，需独立配置其可编程增益放大器的初始增益值。这是为了补偿不同波段光线的量子效率差异，确保在模数转换（ADC）之前，各通道的模拟信号电平处于线性最佳区域。

色彩还原的基础校准：包括白平衡的初始统计窗口与增益预设，以及色彩校准矩阵的加载。

这些初始参数一般在光学实验室环境下，利用标准光源、24 色卡及高精度测试图卡，通过客观测试与主观评价相结合的手段，遍历各种场景，最终确定一套最优的寄存器配置表。

在最终的系统运行中，虽然 ISP 算法或驱动程序会根据实时场景通过 I2C/MIPI 接口动态调整传感器的曝光和增益，但这些动态调节机制（3A 算法）完全建立在上述"静态预设参数"的基础之上。预设参数定义了调节的起点、步长、安全边界及线性度，若基础配置偏差过大，不仅会增加 ISP 的算力负担，更可能导致自动曝光震荡、色彩漂移等无法通过后端算法修复的系统性问题。

摄像头是感知系统的核心，参数配置最为复杂，主要涉及光学和图像信号处理（ISP）。

标定内参 (Intrinsic Parameters):
内参矩阵 (K Matrix): 包含焦距 (fx,fyfx,fy) 和主点坐标 (cx,cycx,cy)。
畸变系数 (Distortion Coefficients): 径向畸变 (k1,k2,k3k1,k2,k3) 和切向畸变 (p1,p2p1,p2)，用于将鱼眼或广角图像拉直。
物理配置:
FOV (视场角): 水平/垂直视场角（如前视窄角 30°，周视广角 120°）。
分辨率: 如 2MP (1920x1080) 或 8MP (3840x2160)。
ISP/运行时配置:
数据格式: Raw12/Raw10 (最常用), YUV422 (少用)。
曝光模式 (Exposure): 自动曝光 (AE) 策略，感兴趣区域 (ROI) 权重。
HDR 设置: 曝光比 (Exposure Ratio)，多帧合成策略 (PWL 拐点设置)。
帧率 (FPS): 通常为 30fps 或 60fps。
同步触发 (Sync): 外触发信号的延迟设置，确保与激光雷达时间对齐。

功能	说明	典型实现
自动曝光/增益控制	实时调节快门与增益，保持图像亮度	多曝光 HDR、全局快门同步
白平衡/色彩校正	适应不同光源（日光、黄光、LED）	硬件 LUT + 软件后处理
噪声抑制	降低暗光噪点	行列噪声抑制、时域降噪
图像畸变校正	校正镜头畸变	内置 DSP 或外部校正算法
安全认证	符合 ISO 26262 功能安全等级	采用冗余设计、容错校验

在实际系统中，CMOS 传感器的参数往往通过驱动或 ISP 接口进行动态配置，但是这些配置是基于一个基础的预设的参数。以下列出业界常用的几类配置函数（以华为 CANN SDK 为例）：

功能	典型 API（函数名）	作用说明
帧率设置	pfn_cmos_fps_set	设定传感器工作帧率（fps）
降帧功能	pfn_cmos_slow_framerate_set	在低光或功耗需求下降低帧率
曝光时间更新	pfn_cmos_inttime_update	动态调节快门时间（us）
增益更新	pfn_cmos_gains_update	同时设置模拟增益、数字增益
增益计算	pfn_cmos_gain_calc（示例）	根据目标曝光自动计算增益值
长/短帧模式切换	pfn_cmos_longshort_framemode_set	用于 HDR/WDR 双帧曝光切换
AE（自动曝光）初始化	pfn_cmos_get_ae_default	获取默认 AE 参数用于初始化
曝光参数转换	pfn_cmos_exp_param_convert	跨帧率的曝光量换算
图像翻转/ROI	pfn_cmos_roi_set、pfn_cmos_flip_set	设置感兴趣区域、水平/垂直翻转
黑电平校准	pfn_cmos_blacklevel_set	调整黑电平以提升对比度
色彩校正	pfn_cmos_color_correction_set	载入或更新色彩矩阵

2.2 Lidar

LiDAR 的配置决定了其点云的密度和探测距离。

扫描参数:
线数 (Channels): 16线、64线、128线或等效线数（固态）。
水平视场角 (H-FOV): 机械式通常 360°，固态通常 120°。
垂直视场角 (V-FOV): 如 -25° 到 +15°。
角分辨率: 水平（如 0.1°）和垂直（如 0.2°）分辨率，决定了能看清多远的物体。
运行时配置:
转速/帧率: 机械式一般 5Hz, 10Hz, 20Hz (对应转速 300/600/1200 RPM)。
回波模式 (Return Mode): 单回波（最强/最近）或双/多回波（Dual/Multi Echo）。注：多回波对于穿透雨雾、树叶非常关键。
点频 (Data Rate): 每秒出点数，如 150万点/秒。
PTP 同步: 设置 PTP (IEEE 1588) 协议以同步系统时间。
最小探测距离 (Blind Zone): 设置过滤掉罩子上的灰尘或近处噪点。

|-------|---------------------|-----------------|------------------------------------|
| 扫描模式 | Return Mode | 单返回 / 双返回 / 多返回 | 0‑Single、1‑Dual、2‑Full‑Wave |
| | 工作模式 | 动态（随环境调节）或恒定 | 0‑Dynamic、1‑Constant |
| | 高分辨率模式 | 标准 vs 高分辨率 | 0‑Standard、1‑High‑Resolution |
| | 同步方式 | Sync 开关 + 同步角度 | sync: 0/1，syncAngle: 0‑359° |
| 返回与过滤 | Intensity Threshold | 最小强度阈值，过滤噪声点 | 1‑10000（默认 5000） |
| | Median Filter | 开/关及窗口大小 | enable: true/false，size: 3‑7 |
| | Smoothing Filter | 开/关及平滑因子 | enable: true/false，factor: 0.1‑1.0 |

2.3 Radar

毫米波雷达的底层配置主要涉及波形设计，决定了其探测性能。

波形配置 (Waveform Profile):
起始频率: 如 76GHz 或 77GHz。
带宽 (Bandwidth): 决定距离分辨率（如 4GHz 带宽可达 4cm 分辨率）。
Chirp (扫频) 参数: 斜率 (Slope)、周期 (Duration)、采样点数。
探测性能配置:
RCS 阈值 (Sensitivity): 雷达散射截面积阈值，设置过低会有噪点，过高会漏检行人。
最大探测距离 vs 最大速度: 通过配置 Chirp 的参数进行权衡（Trade-off）。
CFAR (恒虚警率) 参数: 用于在噪声背景中检测目标的算法阈值。
输出类型:
Object List (目标列表): 雷达内部处理后的目标（ID, 距离, 速度, 角度）。
Cluster (聚类): 未经跟踪的点迹集合。
ADC/Heatmap Raw Data: 原始数据（用于 4D 雷达的高级感知算法）。

2.4 USS

主要用于低速泊车，配置相对简单。

脉冲参数:
频率: 通常为 40kHz, 48kHz 或 58kHz。
脉冲个数: 发出的波形周期数。
探测逻辑:
余振时间 (Ring Down Time): 决定了最小盲区（通常 15-30cm）。
最大接收窗口: 决定了最大探测距离（通常 2.5m - 5m）。
灵敏度曲线 (Threshold Curve): 随距离变化的阈值曲线，用于过滤地面反射杂波。
工作模式:
探头分组: 设置哪几个探头同时发波，哪几个接收（三角定位需要特定的发收逻辑）。

触发信号（Trig）‍

发送 10 µs 的高电平脉冲即可启动一次测距。

为避免误触发，建议在每次测距后保持低电平 ≥ 2 ms（即测距间隔 ≥ 25 ms）。

回波信号（Echo）‍

Echo 引脚输出的高电平宽度 = 往返时间（µs），距离（cm） = 宽度 / 58（在 340 m/s 声速下）。

若未检测到回波，需设置超时阈值（如 30 ms）防止程序卡死。

采样频率

典型采样率为 10 Hz~15 Hz（即每 66 ms~100 ms 采一次），高于此会导致回波信号相互干扰。

温度补偿

声速随温度变化（约 0.6 m/s/°C），在高精度需求下可根据温度传感器对距离进行软件补偿。

2.5 GNSS

GNSS 模组的参数配置围绕使能/工作模式 → 天线硬件 → 星座与信号 → 输出协议 → 精度阈值 → 功耗管理这几大块展开。通过 AT 指令、配置文件或 Web UI 均可完成，关键是根据实际使用场景（移动端、车载、基站）合理调节星座、更新率、功耗和精度阈值。

用于获取绝对位置。

搜星配置:
星座选择: 开启 GPS, GLONASS, Galileo, BeiDou (BDS) 中的哪些。
频段: L1, L2, L5 多频段设置（抗干扰能力更强）。
差分/RTK 配置:
NTRIP Client: 差分账号、密码、挂载点 (Mountpoint) 信息。
解算频率: 输出定位数据的频率（1Hz, 5Hz, 10Hz）。
天线安装 (Lever Arm):
天线相位中心偏差: 两个天线（主/从）相对于 IMU 或车辆后轴中心的距离（非常关键，填错会导致定位漂移）。

2.6 IMU

用于获取姿态（Pitch, Roll, Yaw）和加速度，是定位系统的"内耳"。

量程配置 (Range):
加速度计: 如 ±2g, ±8g, ±16g (急加减速需要较大量程)。
陀螺仪: 如 ±125°/s, ±500°/s, ±2000°/s (过弯速度)。
标定参数 (关键):
零偏 (Bias): 静态下的输出误差。
比例因子 (Scale Factor): 实际物理量与输出数值的比例。
轴向非正交误差: X/Y/Z 轴之间不完全垂直的修正矩阵。
滤波设置:
低通滤波器 (LPF): 截止频率设置，用于滤除车辆震动带来的高频噪声。

配置流程概览

确定应用需求：如运动捕捉、姿态估计或导航，先选定所需的加速度计/陀螺仪量程和采样率。
设置寄存器：通过 I2C/SPI/UART 向 IMU 写入对应寄存器值（如 range、ODR、filter），不同芯片的寄存器映射可参考官方手册。
选择通信参数：根据主控 MCU 的串口能力，配置波特率或 CAN 速率。
校准与测试：完成配置后进行零偏、比例因子校准，确保测量精度符合规格。

IMU（惯性测量单元）模组常见的参数配置项

参数类别	具体可配置项	常见取值范围/选项	说明
加速度计量程	acc_range / ag_AccelFullScale	±2 g、±4 g、±8 g、±16 g、±2 g、±4 g、±8 g、±16 g	决定能够测量的最大加速度，范围越大灵敏度越低。
陀螺仪量程	gyro_range / ag_GryoFullScale	±125 °/s、±250 °/s、±500 °/s、±1000 °/s、±2000 °/s、±250 °/s（默认）	决定能够测量的最大角速度。
采样率 / 输出频率	sampleRate、imu_rate、imu_raw_output	12、26、52、104、208、416 Hz（加速度/陀螺仪）、25、50、100、200 Hz、0.1 Hz--50 Hz	影响数据更新速度和带宽需求。
滤波器带宽	filter、bandwidth	可配置 16.7 Hz、50 Hz、80--116 Hz 等、50 Hz（默认）	低通滤波器截止频率，用于抑制高频噪声。
降采样（Decimation）‍	decimation	1--8（对应不同的内部采样倍率）	通过内部降采样降低输出速率，减小数据量。
波特率 / 通信接口	baud_rate、UART、CAN、SPI	115200 bit/s、460800 bps 等、UART/TTL、CAN（TTL）、I2C/SPI（最高 7 MHz）	根据主控芯片选择合适的接口和速率。
其他可选功能	magnetometer、pressure、temperature、timestamp	可选开启磁场、压力、温度、时间戳等传感器数据	根据应用需求决定是否输出附加传感器信息。