西工大经典力作!AerialVLN:空中无人机视觉语言导航数据集

主要贡献

  • 论文提出了AerialVLN任务,允许智能体在四自由度(前向、左转/右转、上升/下降、左移/右移)中移动,更接近真实的无人机飞行行为。

  • 开发了包含25个城市级场景的模拟器,支持连续导航和环境扩展配置,能够模拟动态的户外环境,如风吹树叶、车辆运行、光照变化等。

  • 收集了8,446条飞行路径和相应的自然语言指令,数据集规模大且多样性强。平均路径长度为661.8米,远长于地面VLN任务的路径长度。

  • 提出了前瞻指导(Look-ahead Guidance,LAG)策略,通过生成"前瞻"路径来改进模型的性能。每个子路径与其子指令对齐,实现了细粒度的跨模态匹配学习。

研究背景

研究问题

论文主要解决的问题是如何在无人机(UAV)上进行视觉语言导航。现有的视觉语言导航(VLN)任务主要针对地面上的智能体,而忽略了无人机在空中导航的应用场景。

研究难点

该问题的研究难点包括:

  • 无人机导航需要考虑飞行高度和更复杂的空间关系推理。

  • 无人机导航的环境更大且更复杂,涵盖多种城市级场景。

  • 无人机导航的路径比地面VLN更长,平均路径长度为661.8米。

  • 智能体需要学习在三维空间中躲避障碍物。

相关工作

该问题的研究相关工作有:

  • UAV导航:早期的UAV自主导航需要解决感知、映射、定位、决策、动作分解和控制等挑战。

  • 地面VLN任务:如R2R、RxR、REVERIE、TouchDown等,这些任务主要针对地面上的智能体,无法反映无人机在空中导航的挑战。

研究方法

论文提出了AerialVLN任务,用于解决无人机在空中进行视觉语言导航的问题。

任务定义

AerialVLN任务要求智能体(多旋翼无人机)通过自然语言指令和其第一人称视角的视觉感知,从起点飞到终点。

任务不提供预建的导航图,任何未被物体占据的点都是可导航的。

模拟器

使用Unreal Engine 4和Microsoft AirSim插件开发了一个3D模拟器,渲染了25个城市级场景的接近真实图片。模拟器支持连续导航、环境扩展和配置。

模拟器输出前视图的RGB图像和深度图像,并支持动态环境(如风吹树叶、车辆行驶、不同光照和气候模式)。

数据集收集

收集了25个不同城市级环境的数据,涵盖市中心、工厂、公园和村庄等多种场景,包含超过870种不同的对象。

数据集由经验丰富的无人机飞行员生成飞行路径,最终包含8446条飞行路径,每条路径配有3条自然语言指令。

并由AMT工人标注语言指令,共收集了25,338条指令,词汇总量为4,470个词,平均每条指令包含83个词。

实验设计

数据集划分

将数据集划分为训练集、验证集(可见和不可见)和测试集。训练集包含16,380条指令,验证集包含1,818条指令,测试集包含4,830条指令。

基线模型

评估五种基线模型在AerialVLN任务上的性能,并使用前瞻指导策略改进最佳基线模型的性能。包括:

  • 随机模型:在每个位置随机选择动作,直到选择"停止"动作或达到最大步数。

  • 动作采样模型:根据训练集的动态度分布采样动作。

  • LingUNet模型:将LingUNet模型适应为步进范式。

  • Seq2Seq模型:使用循环策略的序列到序列模型。

  • CMA模型:基于双向LSTM的跨模态注意力模型。

提出了前瞻指导策略(Look-ahead Guidance,LAG),通过生成"前瞻"路径来改进模型性能。具体步骤包括:

  • 找到返回真实路径的最短路径,

  • 沿真实路径前进10步,生成前瞻路径,

  • 根据前瞻路径确定下一步的真实动作。

结果与分析

基线模型性能

  • 随机模型的成功率为0%,动作采样模型的成功率低于1%。

  • LingUNet模型在不可见情况下的成功率略高于动作采样模型。

  • Seq2Seq和CMA模型在完整数据集的不可见分割上的成功率分别为1.0%~1.6%和2.2%~3.9%。

  • 数据集聚合技术(DA)提高了模型性能,但仍未达到人类表现。

前瞻指导策略效果

前瞻指导策略显著提高了模型在不可见分割上的成功率和SDTW指标。

模态消融研究

视觉和语言输入对任务至关重要,去除任一输入都会导致任务变得无意义。RGB信息对最终成功贡献更大。

总结

论文介绍了一个新的任务AerialVLN和一个大规模数据集,用于探索空中的视觉语言导航。

结果表明,现有的基线模型在AerialVLN任务上表现不佳,远低于人类表现。前瞻指导策略显著提高了模型性能,但仍需进一步研究以应对这一具有挑战性的任务。

相关推荐
阿坡RPA7 小时前
手搓MCP客户端&服务端:从零到实战极速了解MCP是什么?
人工智能·aigc
用户27784491049937 小时前
借助DeepSeek智能生成测试用例:从提示词到Excel表格的全流程实践
人工智能·python
机器之心8 小时前
刚刚,DeepSeek公布推理时Scaling新论文,R2要来了?
人工智能
算AI10 小时前
人工智能+牙科:临床应用中的几个问题
人工智能·算法
凯子坚持 c10 小时前
基于飞桨框架3.0本地DeepSeek-R1蒸馏版部署实战
人工智能·paddlepaddle
你觉得20511 小时前
哈尔滨工业大学DeepSeek公开课:探索大模型原理、技术与应用从GPT到DeepSeek|附视频与讲义下载方法
大数据·人工智能·python·gpt·学习·机器学习·aigc
8K超高清11 小时前
中国8K摄像机:科技赋能文化传承新图景
大数据·人工智能·科技·物联网·智能硬件
hyshhhh11 小时前
【算法岗面试题】深度学习中如何防止过拟合?
网络·人工智能·深度学习·神经网络·算法·计算机视觉
薛定谔的猫-菜鸟程序员11 小时前
零基础玩转深度神经网络大模型:从Hello World到AI炼金术-详解版(含:Conda 全面使用指南)
人工智能·神经网络·dnn
币之互联万物12 小时前
2025 AI智能数字农业研讨会在苏州启幕,科技助农与数据兴业成焦点
人工智能·科技