Griffin|增强现实数据集|无人机数据集

构建方式

Griffin数据集的构建采用了模块化架构，结合了CARLA和AirSim平台，通过模拟真实世界中的无人驾驶环境和无人机动态，收集了超过30,000帧图像数据，覆盖了多种无人机飞行高度、天气条件和物体遮挡情况。数据采集框架包括一个基于Unreal Engine 4的服务器和一个Python客户端，其中Python客户端包含了四个专门的管理器，分别负责车辆规划控制、无人机轨迹生成、环境配置和传感器数据管理。数据预处理阶段，对多源数据进行时空对齐，并利用CARLA的实例分割地面真实接口进行遮挡感知的3D标注。

特点

Griffin数据集的特点在于其多模态性、遮挡感知标注、无人机动态模拟和多样性。数据集包含超过200个动态场景，涵盖了城市和郊区两种环境，以及多种天气条件和车辆速度。无人机飞行高度从20米到60米不等，确保了数据集的多样性。此外，数据集中的标注不仅包括目标类别、跟踪ID和9维边界框模型，还包括可见度比率，这使得数据集更适合研究遮挡场景下的感知问题。

使用方法

使用Griffin数据集进行研究和开发时，首先需要了解数据集的组织结构和标注信息。数据集包括多个场景，每个场景包含多个时间戳的图像数据和对应的标注信息。研究人员可以根据自己的需求选择合适的场景和任务，例如3D物体检测和3D物体跟踪。在使用数据集时，需要注意数据预处理，包括时空对齐和遮挡感知标注的处理。此外，研究人员还可以利用数据集提供的基准方法和评价指标来评估自己的算法性能。

背景与挑战

背景概述

在自动驾驶技术的发展中，尽管取得了显著进展，但目前的单视角系统在复杂环境中仍然面临着严重遮挡和视野受限的基本挑战。为了解决这些限制，越来越多的协作感知策略涌现出来，包括车对车（V2V）和车对基础设施（V2I）的合作。这些方法已经展示了可行的解决方案和在感知能力上的显著提升。然而，它们的实际实施通常需要大量的基础设施投资和联网车辆的广泛采用，这可能会带来经济障碍。相比之下，车对无人机或所谓的空中-地面协作（AGC）系统利用了空中的全景视图和地面级别的详细观察。无人机的集成提供了在关键应用中快速部署的独特优势，包括智慧城市、应急响应和安全巡逻，从而为动态环境感知提供了一个新的范例。尽管具有巨大的潜力，但开发有效的空中-地面协作感知系统仍然面临着两个关键的挑战。第一个挑战源于动态视角不匹配：与主要在水平平面上移动传感器的V2V和V2I协作不同，无人机引入了高度变化和动态俯仰/横滚角度变化，这使跨视图特征的校准变得复杂。第二个挑战是现有的无人机视图3D感知数据集仍然存在缺陷。如表I所示，CoPerception-UAV和UAV3D等数据集缺乏遮挡感知注释，导致边界框包括不可见区域的目标。同时，许多数据集采用过于简化的固定角度或固定高度的相机模型，这不能反映受风干扰和目标加速度等现实世界无人机动态的影响。受神话生物Griffin的启发，它结合了狮子的陆地力量和鹰的空中主导地位，我们旨在利用空中和地面视角的联合力量来克服这些挑战并增强自动驾驶的感知能力。为此，我们为空中-地面协作3D感知提出了以下贡献：Griffin，一个包含超过200个动态场景（30k+帧）的大型多模态数据集，具有不同的无人机高度（20-60m），多样化的天气条件和遮挡感知的3D注释，并通过CARLA-AirSim联合仿真增强了真实的无人机动态；一个统一的基准测试框架，用于评估空中-地面协作检测和跟踪任务，包括评估通信效率、延迟容忍度和高度适应性的协议；AGILE，一个实例级别的中间融合基准，通过基于查询的交互动态地对齐跨视图特征，在通信开销和感知精度之间取得了有利的平衡。广泛的实验证明了空中-地面协作感知的有效性，并展示了进一步研究的方向。数据集和代码可在https://github.com/wang-jh18-SVM/Griffin上获得。

当前挑战

空中-地面协作感知系统面临着两个关键的挑战。第一个挑战源于动态视角不匹配：与主要在水平平面上移动传感器的V2V和V2I协作不同，无人机引入了高度变化和动态俯仰/横滚角度变化，这使跨视图特征的校准变得复杂。第二个挑战是现有的无人机视图3D感知数据集仍然存在缺陷。例如，CoPerception-UAV和UAV3D等数据集缺乏遮挡感知注释，导致边界框包括不可见区域的目标。同时，许多数据集采用过于简化的固定角度或固定高度的相机模型，这不能反映受风干扰和目标加速度等现实世界无人机动态的影响。为了克服这些挑战，Griffin数据集提供了高保真的3D注释，覆盖了六种对象类别：行人、汽车、卡车、公共汽车、摩托车和自行车。注释包括类别标签、跟踪ID、可见率以及由x、y、z、长度、宽度、高度、翻滚、俯仰和偏航定义的9维边界框模型。为了解决现有数据集中遮挡判断的常见问题，我们开发了一种利用CARLA的实例分割地面真实接口的可视性量化方法。在数据收集过程中，RGB和分割图像使用相同的传感器配置记录，以保持时空对齐。在后期处理阶段，我们从每个目标的边界框内采样点并将其投影到分割地面真实值上。然后通过比较采样像素和相应目标之间的语义类别和实例ID来计算可见率。过滤掉可见性低的目标，以确保注释精度。

面向低空交通场景的通信与多模态感知仿真数据集

数据来源：http://pcni.pku.edu.cn/cn/dataset_3.html

PKU 低空交通场景数据集：由北京大学构建，包含十字路口低空交通场景和山区公路低空交通场景。数据集包含无人机端采集的 RGB 图像和深度图像，以及车端采集的激光雷达点云和毫米波雷达点云数据。十字路口场景有 1 个无人机端、12 个车端，共 1500 帧；山区公路场景有 1 个无人机端、8 个车端，共 1500 帧。

亮点与特色

①支持无人机三维轨迹和多速度仿真：在生成的动态场景中，该数据集考虑了环境中动态无人机的多种三维轨迹，包含爬升、俯冲、平飞等多种三维轨迹以及加速、减速、匀速等多种速度。

② 多视角的多模态感知数据：在数据集中，包含无人机端采集的RGB图像和深度图像，以及车端采集的激光雷达点云和毫米波雷达点云数据。

③ 通过碰撞检测机制，保证数据集的真实性和有效性：为保证生成的大规模低空交通动态场景的合理性，基于动态物体的运动轨迹，实现了对动态物体的碰撞检测。若动态物体发生碰撞，即可精确地提示发生碰撞的动态物体的名称和对应发生碰撞的快照。

④ 场景的批量生成、排队仿真和数据的自动化导出，使生成大规模无线通信信道数据集成为可能：将物体和天线的三维坐标进行批量修改，实现低空交通动态场景的批量生成，并完成了将生成的动态场景排队仿真和仿真结束后数据的自动化导出的功能。

数据集介绍

本数据集包含十字路口低空交通场景和山区公路低空交通场景，各场景数据集简要介绍和说明如下表

场景	数据种类	元素	数据大小	备注
十字路口低空交通	无线通信信道数据、激光雷达点云、RGB图像、深度图像、毫米波雷达点云	1个无人机端、12个车端	1500帧	常见城市交通场景
山区公路低空交通	无线通信信道数据、激光雷达点云、RGB图像、深度图像、毫米波雷达点云 1个无人机端、8个车端	1500帧	起伏较大、空旷的山区场景