西工大经典力作!AerialVLN:空中无人机视觉语言导航数据集

主要贡献

  • 论文提出了AerialVLN任务,允许智能体在四自由度(前向、左转/右转、上升/下降、左移/右移)中移动,更接近真实的无人机飞行行为。

  • 开发了包含25个城市级场景的模拟器,支持连续导航和环境扩展配置,能够模拟动态的户外环境,如风吹树叶、车辆运行、光照变化等。

  • 收集了8,446条飞行路径和相应的自然语言指令,数据集规模大且多样性强。平均路径长度为661.8米,远长于地面VLN任务的路径长度。

  • 提出了前瞻指导(Look-ahead Guidance,LAG)策略,通过生成"前瞻"路径来改进模型的性能。每个子路径与其子指令对齐,实现了细粒度的跨模态匹配学习。

研究背景

研究问题

论文主要解决的问题是如何在无人机(UAV)上进行视觉语言导航。现有的视觉语言导航(VLN)任务主要针对地面上的智能体,而忽略了无人机在空中导航的应用场景。

研究难点

该问题的研究难点包括:

  • 无人机导航需要考虑飞行高度和更复杂的空间关系推理。

  • 无人机导航的环境更大且更复杂,涵盖多种城市级场景。

  • 无人机导航的路径比地面VLN更长,平均路径长度为661.8米。

  • 智能体需要学习在三维空间中躲避障碍物。

相关工作

该问题的研究相关工作有:

  • UAV导航:早期的UAV自主导航需要解决感知、映射、定位、决策、动作分解和控制等挑战。

  • 地面VLN任务:如R2R、RxR、REVERIE、TouchDown等,这些任务主要针对地面上的智能体,无法反映无人机在空中导航的挑战。

研究方法

论文提出了AerialVLN任务,用于解决无人机在空中进行视觉语言导航的问题。

任务定义

AerialVLN任务要求智能体(多旋翼无人机)通过自然语言指令和其第一人称视角的视觉感知,从起点飞到终点。

任务不提供预建的导航图,任何未被物体占据的点都是可导航的。

模拟器

使用Unreal Engine 4和Microsoft AirSim插件开发了一个3D模拟器,渲染了25个城市级场景的接近真实图片。模拟器支持连续导航、环境扩展和配置。

模拟器输出前视图的RGB图像和深度图像,并支持动态环境(如风吹树叶、车辆行驶、不同光照和气候模式)。

数据集收集

收集了25个不同城市级环境的数据,涵盖市中心、工厂、公园和村庄等多种场景,包含超过870种不同的对象。

数据集由经验丰富的无人机飞行员生成飞行路径,最终包含8446条飞行路径,每条路径配有3条自然语言指令。

并由AMT工人标注语言指令,共收集了25,338条指令,词汇总量为4,470个词,平均每条指令包含83个词。

实验设计

数据集划分

将数据集划分为训练集、验证集(可见和不可见)和测试集。训练集包含16,380条指令,验证集包含1,818条指令,测试集包含4,830条指令。

基线模型

评估五种基线模型在AerialVLN任务上的性能,并使用前瞻指导策略改进最佳基线模型的性能。包括:

  • 随机模型:在每个位置随机选择动作,直到选择"停止"动作或达到最大步数。

  • 动作采样模型:根据训练集的动态度分布采样动作。

  • LingUNet模型:将LingUNet模型适应为步进范式。

  • Seq2Seq模型:使用循环策略的序列到序列模型。

  • CMA模型:基于双向LSTM的跨模态注意力模型。

提出了前瞻指导策略(Look-ahead Guidance,LAG),通过生成"前瞻"路径来改进模型性能。具体步骤包括:

  • 找到返回真实路径的最短路径,

  • 沿真实路径前进10步,生成前瞻路径,

  • 根据前瞻路径确定下一步的真实动作。

结果与分析

基线模型性能

  • 随机模型的成功率为0%,动作采样模型的成功率低于1%。

  • LingUNet模型在不可见情况下的成功率略高于动作采样模型。

  • Seq2Seq和CMA模型在完整数据集的不可见分割上的成功率分别为1.0%~1.6%和2.2%~3.9%。

  • 数据集聚合技术(DA)提高了模型性能,但仍未达到人类表现。

前瞻指导策略效果

前瞻指导策略显著提高了模型在不可见分割上的成功率和SDTW指标。

模态消融研究

视觉和语言输入对任务至关重要,去除任一输入都会导致任务变得无意义。RGB信息对最终成功贡献更大。

总结

论文介绍了一个新的任务AerialVLN和一个大规模数据集,用于探索空中的视觉语言导航。

结果表明,现有的基线模型在AerialVLN任务上表现不佳,远低于人类表现。前瞻指导策略显著提高了模型性能,但仍需进一步研究以应对这一具有挑战性的任务。

相关推荐
羑悻的小杀马特1 小时前
OpenCV 引擎:驱动实时应用开发的科技狂飙
人工智能·科技·opencv·计算机视觉
guanshiyishi4 小时前
ABeam 德硕 | 中国汽车市场(2)——新能源车的崛起与中国汽车市场机遇与挑战
人工智能
极客天成ScaleFlash4 小时前
极客天成NVFile:无缓存直击存储性能天花板,重新定义AI时代并行存储新范式
人工智能·缓存
澳鹏Appen6 小时前
AI安全:构建负责任且可靠的系统
人工智能·安全
蹦蹦跳跳真可爱5896 小时前
Python----机器学习(KNN:使用数学方法实现KNN)
人工智能·python·机器学习
视界宝藏库7 小时前
多元 AI 配音软件,打造独特音频体验
人工智能
xinxiyinhe7 小时前
GitHub上英语学习工具的精选分类汇总
人工智能·deepseek·学习英语精选
ZStack开发者社区7 小时前
全球化2.0 | ZStack举办香港Partner Day,推动AIOS智塔+DeepSeek海外实践
人工智能·云计算
Spcarrydoinb8 小时前
基于yolo11的BGA图像目标检测
人工智能·目标检测·计算机视觉
非ban必选9 小时前
spring-ai-alibaba第四章阿里dashscope集成百度翻译tool
java·人工智能·spring