论文链接
Survey on Cooperative Perception in an Automotive Context
0. Abstract
- 本文就协同基础设施领域提供相关环境的调查
- 回顾了感知中涉及的主要模块：定位，目标检测和跟踪，地图生成
- 提供了协同感知的 SWOT
1. Intro
无人驾驶汽车的背景、发展历程---->协同驾驶：v2v到v2I
合作可在三个层次的数据共享中进行：
- 早期融合阶段：原始数据的融合，原始数据来自于进行早期融合的互联用户
- 中期融合阶段：两个并行任务同时进行：1）通过传感器来估计车辆在环境的位置；2）对场景中的目标进行检测和跟踪
- 后期融合阶段：以使用给定的先验地图为基础，并与连接的用户进行合作更新，以建立一个地图，从而为以前获得的数据提供背景
2. 协作基础
2.1 感知设备
- GPS：应用最广泛的定位系统
- 相机：可以用于检测和跟踪障碍物，以及进行轨迹估计。单目相机对于图像深度轴上的位置的估计存在一定局限性。可利用多个摄像机或深度学习算法改进
- 雷达：相比于相机，雷达角度分辨率更低，但在距离和速度等测量方面由于相机
- LiDAR：可视为雷达和相机之间的中介，提供三维空间的点云数据。视觉里程计和SLAM原理同样适用于LiDAR
- 超声波传感器：角度分辨率低，计算成本高，对天气条件和多普勒效应敏感
- 射频方法（RF）：无线通行作为传感器，基于测量发射机和接收机之间的距离进行位置估计
自动驾驶汽车的常见设置由 GNSS - IMU 组成，通过摄像头、激光扫描仪或雷达实现全球定位，用于检测和跟踪场景中的元素或作为定位信息的另一个来源。
2.2 通信
封装和分享数据
C-its和DSRC定义的标准，以及与OSI模型对比的组成部分。C-its定义的标准用绿色表示，DSRC定义的标准用蓝色表示
与 DSRC 协议共享的信息封装在基本安全消息 (BSM)中，传达有关发射车辆的信息以避免碰撞。类似地，C-ITS 引入了协作意识消息（CAM），也作为 BSM 传递车辆信息，但还引入了分布式环境通知消息（DENM），它通知道路上的危险，并且比 CAM 具有更高的优先级。使用了 C-ITS 提出的 CAM 和 DENM 消息，但作者还需要使用另一种类型的消息，即 i-GAME 合作车道变更消息 (iCLCM)，以向其他车辆表明他们愿意变更车道。中的作者使用信号相位和定时 (SPaT) 消息来预测交通灯变化，并使用 DSRC 的 BSM 来通知基础设施检测到的车辆的存在。为了满足这些新需求，除了 SPaT 等消息之外，还包括道路拓扑数据 (MAP)、特种车辆（SRM、SSM）、探测车辆数据（PVD、PDM）和车载信息（IVI）的消息正在标准化。
目前使用的另一种常见架构是基于发布者/订阅者范式，主要由机器人操作系统（ROS）支持，该系统在最近的项目中经常使用。该结构基于节点通信在主题上传输的消息
通信设施
目前大多数方案是基于802.11，但有部分解决方案使用蜂窝网络
2.3 设计与挑战
集中式方案
集中式方案集中所获得数据的进行处理，用户将信息分享到一个处理单元。该方案的主要缺点是体系结构的效率主要依赖于处理单元的性能。
分布式方案
数据传输到每辆车上，数据的处理在车上完成。该方案的覆盖质量取决于用户集群的大小。
对比
对于分布式方案，其优势在于当某个元件发生故障仍然可用，同时随处可用。其缺点在于计算能力有限，网络优化程度低，同步存在问题。
对于集中式方案，其优势在于能顾聚合更多数据，具有全局的场景视图，并且具有更强的计算能力。其缺点在于同步问题，聚合网络的瓶颈效应以及传感器接受信息之间的延迟
合作中的挑战
对于协同系统，其架构很大地影响效率。
- 多模态：和非合作系统一样，从传感器获得的数据的类型多样性带来的困难以及来自采集硬件校准的困难也是存在的。多模式的选择是为了满足不同的需求，即由相机进行的检测和分类，以及由雷达进行的距离和速度测量。 解决多模态和校准挑战的另一种方法是在本地处理每个传感器的数据，并以信息的形式分享输出。然而，数据关联是一个具有挑战性的话题，必须在之后的聚合步骤中进行
- 校准:校准的目的是确定传感器之间的转换，以便能够至少在一个给定的帧中合并从几个视图中获得的数据。如果这项任务在单个agent上已经很有挑战性，那么在多移动用户环境中就会变得更加费力。在这种情况下，传感器之间的转换矩阵随着车辆在场景中的移动而不断变化。现在，最广泛使用的方法依赖于绝对坐标，和在感知部分评估的pose估计性能
- 同步:校准依赖于元素的同步，以确定传感器之间的转换，特别是与移动传感器。有多种不同步的来源，如时钟之间的偏移或通信延迟。 虽然时钟是同步的，但不能确保它们的采集是在同一时刻被触发的，这就增加了合并所获数据时的不确定性。同样，不同的采样率需要在获取或预测的数据之间进行插值，这也增加了不确定性
- 视场：在一个以基础设施和移动用户为特征的场景中，视场可能是极其不同的。 因此，对一个物体的观察根本上是不同的，甚至可以被认为是不重叠的数据
- 感知匹配：由其他agent感知并分享给自车的物体与本地传感器感知的物体之间的感知匹配是一个典型的挑战
3. 定位
3.1 低级协同位置估计
GNSS 通过测量一个点和几个锚点之间的距离来估计点的位置。GPS 卫星被用作其已知位置的锚点
多重迭代
- 协同只会提高 GPS 的精度，不会降低恶劣条件下的精度
- 为了减少通信不良的影响，可以对距离测量施加权重
- 尽管这些结果对于独立导航而言不够准确，使用其他技术可能会带来更好的结果，例如在5G蜂窝网络天线上使用TDOA算法来估计接收器位置
三角测量
对于多点定位，三角测量使得在配备锚点的环境中估计接收器的位置成为可能。然而，多点定位使用接收器和锚点之间的距离测量，而三角测量则使用锚点发射的信号的入射角
在协作车辆定位背景下基于三角测量的方法在今天仍然很少见
几何方案
与前两种方法相比，几何方法是最直接的方法之一。它包括将用户定位在已知其全球位置的观察者（车辆或基础设施）的本地坐标系中。为了在局部坐标系中定位用户，可以使用多种传感器，例如摄像机、雷达或激光雷达。
3.2 高级协同位置估计
-
面向低级的方法更接近硬件。在高级方法的情况下，他们使用对已建立的位置的估计作为改进它们的基础。位置估计应用中最流行的方法之一是基于扩展卡尔曼滤波器 (EKF)
-
尽管 EKF 在计算成本方面非常高效，但它仅适用于噪声服从高斯分布的局部线性信号。故有些方法使用了粒子滤波器
-
有些方法使用一种基于图论的方法，特别是二分图。将感知到的车辆与现实世界中的车辆相关联。使用因子图形式的二部图进行定位
优点 ：与低层级方法兼容，且能显著减少所需的数据处理
缺点：高层方法需要基本组件，不能单独组件
3.3 总结
协作定位通过额外的数据优化独立的位置估计，从而改进的位置估计的效果
4. 对象检测与追踪
大多数对象检测和追踪的方法使用的是非协同方法，其主要原因是因为通信方式的限制
4.1 检测与分类
在分类前需要提取传感器中的 AOI：1）从背景中提出移动的对象，剩下的点成簇；2)共享数据的 AOI部分
最近的工作开始使用点云原始数据的共享。但由于用户之间的通信能力限制，故只对于局部场景进行检测与分类
早期融合 ：数据在通过神经网络之前会进行合并。其缺点是对于数据错误的鲁棒性不强
后期融合 ：数据在每一个部分分开处理，结果在最后合并。缺点是在分类时不太能从协同中受益
中期融合：将原始数据送入神经网络来处理其之间的联系。对于模块的缺失很敏感，但相较于上述方法更能从协同中受益
4.2 追踪
跟踪用户的目的是在场景中尽可能长时间地跟踪他们。
- SLAT 提出定位任务和追踪任务任务可以绑定在一起
- 使用 GMPHD 以及基于贝叶斯推断的算法执行 SLAT
4.3 总结
视点的倍增为克服传感器的局限性或减少场景条件变化的影响提供了显着的优势。另一方面，跟踪似乎被搁置了，因为所使用的协作跟踪方法通常只是在感知管道的其他部分获得其他结果的一种手段。在合作环境中缺乏实验是由于通信中的带宽要求以及对去同步和姿态估计误差的敏感性
5. 地图构建
自我定位以及检测和跟踪的对象可以合并在地图中。因此，可以通过聚合来自多个代理的信息来协作构建地图。
当今使用的协作地图的目标是通过预测用户路线上的不同事件来优化路线并调整车辆导航。由于共享数据的延迟更低和准确性更高，可以实时预测轨迹
5.1 几何地图
几何地图由描述环境的矢量元素组成。在协同工作中，几何地图具有整合用户之间共享信息的作用，而共享信息用于丰富而非用于修改地图。
协作几何地图由一系列层组成。基础层代表地形并且几乎是不变的。层数越高，该层元素的寿命就越短。该层组织已由欧洲电信标准协会（ETSI）以本地动态地图（LDM）的名称正式化。LDM 可分为四层
- 静态数据：道路、应用速度、基础设施等
- 长期瞬态数据：工作区、临时速度变化
- 中期瞬态数据：天气状况、停放车辆、交通拥堵等
- 短期瞬态数据：道路上的车辆、交通信号灯等
5.2 体素地图
体素地图，表示障碍物是否存在的原子元素。其之间从传感器中获取，表示直接环境。占用网格属于体积地图的范畴，形成一个类似于图像的二维网格或矩阵。其优点是可以很容易地与灰度图像等相结合。但随着探索的环境增加，地图会越来越重。
基于点云的地图包含静态和动态的元素，可以提取动态元素进行处理，识别在场景中的角色，并在必要的时候对其进行追踪。
5.3 总结
协作地图绘制有助于丰富车辆移动的环境。由于基础设施上有更大的可用内存，因此可以存储并共享大量高清地图。
6. 回顾与总结
该章节分析了相关技术的 SWOT 分析
优势：
- GNSS 在环境中的定位更加精确
- 可以在 GNSS 拒绝的环境中定位
- 定位上没有出现漂移现象
- V2X 建图
- 更高的可靠性
- 降低成本
- 减少遮挡
- 实现实时更新
- 具有更大的视野
- 可以检测未连接的用户
劣势：
- 与非协作系统的位姿估计精度相似，并没有显著提升
- 效果取决于用户数量
- 计算成本高
- 需要高通信吞吐量
- 存在延迟问题
机遇：
- 原始传感器数据融合
- 场景的不同视角
- V2I 地图生成
- V2I 对象管理
- 基础设施始终可用且已校准
- 进一步的轨迹规划
- 危险预测
- 基础设施提供更多存储空间，可以删除重复部分，从而允许存储高清地图
- 更好鸟瞰图创建
- 现有匹配方法
威胁：
- 基础设施成本较高
- 构建者之间缺乏标准化
- 传感器之间姿态估计准确性的一致性
- 每个参与者的检测和分类准确性
- 参与者之间的同步
- 具有截然不同观点的单个对象的数据关联
- 缺少流或数据管理
- 移动和固定用户之间的数据管理
7. 在现实生活中的协同感知
7.1 应用场景与实验
合作感知对安全问题做出了回应，更具体地说，是与盲点缺乏能见度有关的问题。这种能见度的缺乏可能是由场景的结构或其他用户引起的。例如：行人想过马路却被停放的车辆遮挡，甚至车辆出现在十字路口却被建筑物遮挡。
7.2 数据集
对合作车辆日益增长的兴趣启动了对一些数据集的共享。然而，它们解决的是特定的环境，如通信或基础设施的感知。
- Ko-PER（V2I）：由14个激光扫描仪（4个用于道路，2个用于人行道，8个用于出口）和8个单色摄像机（由于个人数据保护的目的，数据集中只有两个可用）监测一个十字路口的序列组成。激光扫描仪是同步的，以12.5H z的速度运行，而摄像机则以25H z的速度与激光扫描仪同相运行。扫描仪的原始数据和摄像机的未失真图像与选定车辆和物体标签的参考数据一起提供。
- Warringal：由13个元素组成的车队的车辆之间3年内的通信互动。包括车辆的状态、每次通信的列表及其长度、每次通信的信号强度（如RSSI或每辆车使用的天线）和地图。
- T&J：这个数据集的创建是为了补充KITTI的数据集，增加了一个合作维度。与KITTI数据集一样，该数据与GPS和IMU相连，但提供不同位置的同步视图。
缺乏协同感知数据集，以上现存的数据集要么只涉及基础设施，要么只涉及V2V合作。
利用模拟器可以允许从多个角度同步获取数据，还解决了ground truth 定义的问题以及校准的挑战。CARLA是目前最流行的模拟器：它提供了几个传感器，如相机、深度相机、LiDAR（模拟射线投射）、IMU和RADAR。
8. 结论与展望
- 协同感知pipeline的不同阶段及其相关挑战
- 现存的解决定位问题的方法
- 协同目标检测和跟踪
- 协同地图生成 （更好地预测轨迹和可能的调整）
- 缺乏以场景中不同行为者的多个视角为特征的数据集， 这些数据集是合作感知的一个真正的关键点。