西工大经典力作！AerialVLN：空中无人机视觉语言导航数据集

作者：Shubo Liu, Hongsheng Zhang, Yuankai Qi, Peng Wang, Yanning Zhang, Qi Wu
单位：西北工业大学，阿德莱德大学
原文链接：AerialVLN: Vision-and-Language Navigation for UAVs (https://openaccess.thecvf.com/content/ICCV2023/papers/Liu_AerialVLN_Vision-and-Language_Navigation_for_UAVs_ICCV_2023_paper.pdf)
代码链接：https://github.com/AirVLN/AirVLN

主要贡献

论文提出了AerialVLN任务，允许智能体在四自由度（前向、左转/右转、上升/下降、左移/右移）中移动，更接近真实的无人机飞行行为。
开发了包含25个城市级场景的模拟器，支持连续导航和环境扩展配置，能够模拟动态的户外环境，如风吹树叶、车辆运行、光照变化等。
收集了8,446条飞行路径和相应的自然语言指令，数据集规模大且多样性强。平均路径长度为661.8米，远长于地面VLN任务的路径长度。
提出了前瞻指导（Look-ahead Guidance，LAG）策略，通过生成"前瞻"路径来改进模型的性能。每个子路径与其子指令对齐，实现了细粒度的跨模态匹配学习。

研究背景

研究问题

论文主要解决的问题是如何在无人机（UAV）上进行视觉语言导航。现有的视觉语言导航（VLN）任务主要针对地面上的智能体，而忽略了无人机在空中导航的应用场景。

研究难点

该问题的研究难点包括：

无人机导航需要考虑飞行高度和更复杂的空间关系推理。
无人机导航的环境更大且更复杂，涵盖多种城市级场景。
无人机导航的路径比地面VLN更长，平均路径长度为661.8米。
智能体需要学习在三维空间中躲避障碍物。

研究方法

论文提出了AerialVLN任务，用于解决无人机在空中进行视觉语言导航的问题。

任务定义

AerialVLN任务要求智能体（多旋翼无人机）通过自然语言指令和其第一人称视角的视觉感知，从起点飞到终点。

任务不提供预建的导航图，任何未被物体占据的点都是可导航的。

模拟器

使用Unreal Engine 4和Microsoft AirSim插件开发了一个3D模拟器，渲染了25个城市级场景的接近真实图片。模拟器支持连续导航、环境扩展和配置。

模拟器输出前视图的RGB图像和深度图像，并支持动态环境（如风吹树叶、车辆行驶、不同光照和气候模式）。

数据集收集

收集了25个不同城市级环境的数据，涵盖市中心、工厂、公园和村庄等多种场景，包含超过870种不同的对象。

数据集由经验丰富的无人机飞行员生成飞行路径，最终包含8446条飞行路径，每条路径配有3条自然语言指令。

并由AMT工人标注语言指令，共收集了25,338条指令，词汇总量为4,470个词，平均每条指令包含83个词。

实验设计

数据集划分

将数据集划分为训练集、验证集（可见和不可见）和测试集。训练集包含16,380条指令，验证集包含1,818条指令，测试集包含4,830条指令。

基线模型

评估五种基线模型在AerialVLN任务上的性能，并使用前瞻指导策略改进最佳基线模型的性能。包括：

随机模型：在每个位置随机选择动作，直到选择"停止"动作或达到最大步数。
动作采样模型：根据训练集的动态度分布采样动作。
LingUNet模型：将LingUNet模型适应为步进范式。
Seq2Seq模型：使用循环策略的序列到序列模型。
CMA模型：基于双向LSTM的跨模态注意力模型。

提出了前瞻指导策略（Look-ahead Guidance，LAG），通过生成"前瞻"路径来改进模型性能。具体步骤包括：

找到返回真实路径的最短路径，
沿真实路径前进10步，生成前瞻路径，
根据前瞻路径确定下一步的真实动作。

结果与分析

基线模型性能

随机模型的成功率为0%，动作采样模型的成功率低于1%。
LingUNet模型在不可见情况下的成功率略高于动作采样模型。
Seq2Seq和CMA模型在完整数据集的不可见分割上的成功率分别为1.0%~1.6%和2.2%~3.9%。
数据集聚合技术（DA）提高了模型性能，但仍未达到人类表现。

前瞻指导策略效果

前瞻指导策略显著提高了模型在不可见分割上的成功率和SDTW指标。

模态消融研究

视觉和语言输入对任务至关重要，去除任一输入都会导致任务变得无意义。RGB信息对最终成功贡献更大。

总结

论文介绍了一个新的任务AerialVLN和一个大规模数据集，用于探索空中的视觉语言导航。

结果表明，现有的基线模型在AerialVLN任务上表现不佳，远低于人类表现。前瞻指导策略显著提高了模型性能，但仍需进一步研究以应对这一具有挑战性的任务。