作者：Tianpeng Liu, Xinhua Jiang, Li Liu, Qinmu Shen, Siwei Tang, Zhen Liu, Yongxiang Liu
摘要
目标检测是众多无人机（UAV）应用中的基本组成部分，但长期以来一直受到遮挡或目标像素稀缺等障碍的困扰。主动目标检测（AOD）通过主动视觉提供了一种解决这些挑战的新范式，而由于缺乏用于算法开发和评估的高质量数据集和基准，基于无人机的AOD研究仍然很少。为了填补这一空白，本文提出了ATRNet-LUDO，这是第一个用于无人机-地面主动目标检测（UGAOD）的大规模真实世界数据集。它包含121,000张多视图全景多目标航空图像和121万张局部单目标切片，涵盖40个场景中的10类车辆目标。它能够为无人机智能体交互和主动观测策略学习构建多样化的训练和测试环境。基于该数据集，我们为AOD策略学习方法建立了一个全面的评估基准。现有的大多数AOD策略依赖于深度强化学习（DRL），但泛化能力较差。在我们基准上的评估揭示了训练和测试性能之间存在显著的泛化差距，凸显了对解决方案的迫切需求。为此，我们利用联合嵌入预测架构（JEPA）构建了一个世界模型，以增强状态表示学习，并通过结合AOD特定的先验知识提出了AOD-JEPA。大量实验验证了其有效性：主动观测策略在目标识别率上比传统被动感知高出20个百分点，并且在无人机运动成本相似的测试环境中，所提出的世界模型辅助主动观测策略比DRL基线方法获得了2-3个百分点的识别率提升。我们希望ATRNet-LUDO和该基准能推动UGAOD领域的研究。
关键词：主动目标检测，基准数据集，深度强化学习，策略学习，无人机图像，世界模型
1 引言 (INTRODUCTION)
无人机（UAV）凭借其操作灵活、视野广阔和高机动性等独特优势，已成为智能农业1、航空测绘2、灾害救援3, 4和交通监控5, 6等多个领域不可或缺的工具。支撑这些实际应用的核心是基于无人机载图像的目标检测技术8，其主要目标是在捕获的图像中准确定位和识别感兴趣的对象。然而，目标周围复杂的地面物体不可避免地会对目标检测过程引入干扰9, 10。
现有的抗遮挡目标检测方法仅涉及对模型架构的自适应修改，其性能仍达不到理想标准11。相比之下，主动目标检测（AOD）集成了主动视觉范式12，能够从根本上提高观测图像的质量，从而提升目标检测性能13。具体而言，AOD任务定义如下：给定初始图像和待识别目标的大致位置，具身智能体的决策模块利用历史观测数据在环境中进行路径规划。目标是以最小的时间成本移动到最佳观测位置，使感知模块能够从最终观测图像中准确识别目标，从而减轻目标遮挡等环境因素造成的不利影响。
具身智能的发展本质上依赖于训练和测试环境的构建。作为一种具身感知任务，无人机-地面主动目标检测（UGAOD）任务也需要能够为智能体提供交互体验的环境。不幸的是，目前AOD领域的研究主要集中在室内场景13-20，而UGAOD的研究在很大程度上仍未得到解决。造成这一差距的主要原因是缺乏可用于构建训练和测试环境的数据集。因此，本文旨在构建专为UGAOD定制的真实场景采样环境。相应的数据集必须满足多场景覆盖、目标类别多样以及密集的空对地多视图采样等特征。大多数现有的无人机图像数据集7, 21-23无法满足这些标准。只有两个公开数据集------UEVAVD20和CARLA-AOD14------相对符合要求；然而，两者均采样自虚拟仿真环境，且整体数据量不足，导致在用于基准评估时说服力较弱。
本文发布了ATRNet-LUDO，这是首个专为UGAOD任务定制的大规模真实世界公开数据集。在这里，"ATRNet"表示我们研究组收集的数据集系列的通用名称，而"LUDO"是"a Large-scale dataset for UAV active Object Detection in the wild"（野外无人机主动目标检测大规模数据集）的首字母缩写。该数据集包含121,000张多视图全景多目标航空图像和1,210,000张多视图局部单目标航空图像切片，捕获了40个不同场景中的10类车辆目标。基于此数据集，我们可以构建多样化的环境：200个用于多目标AOD任务，2000个用于单目标AOD任务。在每个环境中，相邻视图的全景图像或局部目标切片的组合被视为无人机沿特定轨迹飞行获得的观测结果。如图1(a)所示，无人机观测序列由不同视点的全景图像组成，每帧包含多个车辆目标。图1(b)展示了由聚焦于全景图像中单个车辆目标的局部切片组成的序列；这两种类型的序列可用于模拟无人机沿图1©所示轨迹飞行时对地面目标的观测结果。由于ATRNet-LUDO数据集采用了密集的多视图采样原则，观测图像的组合可以形成丰富的观测序列，从而能够模拟大量的无人机飞行轨迹，以满足无人机-地面单目标和多目标AOD策略学习方法的研究和验证需求。同时，由于所提出的数据集包含各种遮挡障碍物，并记录了采样时无人机的经纬度、镜头方位角和俯仰角信息以及目标的经纬度，它还可用于评估遮挡条件下无人机图像目标检测、识别和定位算法。此外，我们基于ATRNet-LUDO数据集建立了一个评估基准，定义了评估任务和指标。在此基础上，我们评估了7种基线AOD策略学习方法，旨在为该领域后续的研发提供公正且具有说服力的基准。
另一方面，现有的AOD策略学习方法主要依赖于深度强化学习（DRL）。此类方法面临的一个重大挑战是主动观测策略的泛化能力有限------具体而言，当智能体部署在与训练环境显著不同的环境中时，其执行AOD任务的性能可能会大幅下降24, 25。提高状态表示的质量已被证明是增强智能体主动观测策略泛化能力的有效方法26。人类和其他动物仅通过少量的交互或示范就能获得高度可泛化的技能，而机器学习（ML）系统需要大量的样本进行学习，即便如此，其能力也远不如前者可靠。Yann LeCun认为，其根本原因在于人类和动物能够学习世界如何运作的内部模型，即世界模型27。世界模型的核心功能是帮助AI系统构建物理世界的内部表示，基于此可以进行预测、推理和规划。同时，世界模型通常以与任务无关和无监督的方式进行学习。据此，本文提出了一种世界模型辅助策略学习（WMPL）方法。在策略学习过程中，通过自监督学习（SSL）同步训练世界模型，以提高智能体状态表示的质量，从而增强学习策略的泛化性能。
Richard Held和Alan Hein进行的旋转木马实验表明，闭合的"感知-动作"循环对于感知系统的成熟至关重要28。受这一发现的启发，我们认为对于AOD等具身感知任务，应在世界模型学习框架内对智能体动作与观测信息之间的因果关系进行建模。图2展示了几种常见的SSL架构。其中，JEPA通过在表示空间中执行下一步观测预测来实现动作和观测数据的因果建模，因此它能够以更高的计算效率和更少的噪声干扰，为AOD学习更多与任务相关的语义特征27。
因此，在所提出的WMPL方法中，我们首次在UGAOD任务中利用JEPA进行世界模型训练。同时，我们通过结合AOD任务的特定先验知识改进了JEPA，提出了用于无人机-地面AOD的联合嵌入预测架构（AOD-JEPA），如图2(d)所示。在人类场景认知的先验知识指导下，AOD任务的高质量状态表示应优先考虑与任务相关的信息（例如目标的外观、姿态以及目标与周围环境之间的空间位置关系），同时抑制无关信息（例如周围环境的颜色和纹理）。为此，我们采用Segment Anything Model 3（SAM3）30对观测图像进行场景净化：保留目标本身的像素，同时使用SAM3生成的分割掩码过滤掉周围地面物体的颜色和纹理信息。此外，SAM3的一个关键优势是它能够基于语言提示分割图像中同一类别的所有对象实例。因此，我们可以为属于同一类别的对象掩码分配相同的灰度值，从而向模型输入中注入额外的语义信息。上述场景净化操作可以消除无关信息对策略学习和世界模型训练的干扰，进一步提高学习到的状态表示质量，并提升主动观测策略的泛化能力。
总结来说，本文的主要贡献有三点：
- 本文发布了ATRNet-LUDO，这是首个用于UGAOD任务的大规模真实世界数据集。基于该数据集，我们可以构建大量适合智能体交互的环境。同时，我们在ATRNet-LUDO数据集上建立了一个评估基准，定义了明确的评估任务和指标，为该领域提供了一个公正且具有说服力的实验平台。
- 我们提出了用于主动观测策略学习的WMPL方法，该方法首次利用JEPA训练世界模型以增强AOD策略的泛化能力。此外，通过将AOD任务特定的先验知识融入JEPA，我们开发了AOD-JEPA架构，进一步增强了状态表示学习的质量，并提升了智能体主动观测策略的泛化能力。
- 我们在构建的基准上进行了广泛的对比实验，评估了七种最先进的AOD策略学习方法。实验结果表明，与传统的被动目标感知相比，主动观测策略将目标识别率提高了约20个百分点。在测试环境中，与现有的策略学习基线相比，WMPL方法在保持无人机运动成本几乎不变的情况下，实现了2-3个百分点的目标识别率提升。
2 相关工作 (RELATED WORK)
2.1 主动目标检测
AOD不同于传统的静态目标检测和目标驱动视觉导航（TDVN）。传统检测管道从固定的单视图输入中定位和分类目标，而不闭合数据收集与观测质量优化之间的循环。相比之下，AOD利用具身智能体的运动规划来收集信息丰富的多视图观测。
TDVN，也称为主动目标搜索（AOS），最初在33中提出。其核心任务是导航智能体朝向在初始帧中不可见且必须在移动后可观察到的预定义目标。尽管TDVN和AOD都需要视觉语义提取和自主路径规划，但它们在任务目标上存在根本差异。TDVN追求未见的预定义目标，而AOD验证在初始观测中已可见且位置固定的可疑目标的身份。
DRL通过将任务转化为序列决策问题，已成为AOD的主流解决方案。Ammirato等人开创了基于REINFORCE的室内AOD，并发布了主动视觉数据集（AVD）用于标准化算法评估15。Han等人提出了建立在dueling DQN和优先经验回放基础上的多步动作预测（MAP），以联合预测动作类型和幅度16, 17。Fang等人进一步将MAP扩展为SSL-MAP，采用多视图自监督表示学习来提高DRL的样本效率13。后续工作改进了状态编码和策略微调。Liu等人将裁剪的目标切片整合到状态表示中，并设计了专门的奖励函数以实现平滑的目标接近18。Ding等人开发了一种决策转换器在线微调框架：通过离线专家数据集初始化策略，并通过真实环境探索来细化策略19。
2.2 主动目标检测的相关数据集
特定任务的数据集极大地促进了AOD研究：它们能够以低成本、无风险的方式模拟智能体-环境交互，并提供标准化的评估基准15。表1列出了具有代表性的室内AOD数据集AVD15、T-LESS31和R3ED32，这些数据集均通过移动机器人进行密集的室内多视图采样收集。AVD是第一个真实世界的室内AOD数据集，包含17个场景、20,916个RGB-D帧和33个标注目标类别。R3ED包含7个室内场景中12个类别的5,800个多视图点云样本，而T-LESS提供通过调整相机角度和转盘旋转捕获的多视图工业对象数据。尽管支持用于AOD分析的轨迹模拟，但这些数据集都局限于室内场景，缺乏室外无人机AOD的支持。
传统的无人机检测基准（VisDrone7、DroneVehicle21、UAVDT22、AU-AIR34）收集空中行人和车辆图像，但每个场景仅包含稀疏的视点，无法模拟UGAOD的连续飞行观测。我们课题组在2024年通过Unreal Engine和AirSim构建了UEVAVD数据集20，包含150个UGAOD仿真环境以缓解这一问题。另一个合成基准CARLA-AOD35采用半球形采样，在18种地形类型上收集了24个视点和5个尺度的全景数据14。然而，这两个仿真数据集都存在合成-真实域差距以及目标和场景多样性有限的问题，削弱了它们公平比较AOD策略算法的能力。为了克服这些限制，我们构建了一个覆盖40个区域和10个目标类别的新数据集，包含121,000张全景图像和121万张局部目标切片，支持200个多目标和2,000个单目标AOD仿真环境。
2.3 联合嵌入预测架构
生物智能通过用于物理推理、预测和规划的先天世界模型实现了高学习效率，而标准机器学习系统缺乏这种能力27。因此，通过自监督学习（SSL）学习世界模型是现代人工智能的核心挑战。SSL旨在对原始输入数据之间的内在相关性进行建模。
建立在联合嵌入架构（JEA）和生成模型基础上的JEPA在潜在表示空间而不是像素空间中优化预测损失27。这种设计避免了重建琐碎的像素级细节，自动过滤无关的背景特征，并显著减少了计算开销。与JEA不同，JEPA不强制对手工数据增强保持不变性；相反，它学习在辅助场景信息 zzz 条件下相互可预测的跨视图表示。
JEPA在广泛的任务中取得了令人瞩目的表现，包括图像分类29、视频理解36、骨架动作识别37、无线信道估计38、SAR目标识别39, 40和音频分类41。这些应用验证了JEPA核心思想的有效性：将潜在特征预测作为自监督目标有助于提取高质量的多模态表示。
本工作首次尝试采用JEPA来学习AOD中的主动观测策略。针对具身主动检测任务，我们进一步在原始JEPA主干的基础上提出了AOD-JEPA，以增强智能体状态表示的质量。
3 数据集收集与构建 (DATASET COLLECTION AND CONSTRUCTION)
3.1 目标与场景配置
车辆构成了无人机图像中的主要目标，基于无人机的车辆检测具有重要的实际意义。因此，本数据集以民用小型车辆为主要研究对象，涵盖十种常见车型：丰田RAV4、本田Vezel、起亚Carens、凯迪拉克ATS-L、现代VERNA、福特福克斯、大众速腾、福田SUP、东风锐骐和中兴威虎（图3）。所选车辆包括三辆SUV、四辆轿车和三辆皮卡，要求无人机感知系统实现细粒度的类别识别。为了避免简单的基于颜色的分类并专注于具有判别性的结构特征，数据集中的所有车辆目标均统一为白色。这种设计消除了颜色干扰，使得类内和类间差异主要体现在几何轮廓和组件结构上，从而提出了一个更真实、更具挑战性的细粒度识别任务。
在所选场景中，车辆目标的遮挡很常见，包括由树木和建筑物引起的遮挡。另一方面，我们的数据集专注于各种遮挡场景下的AOD。考虑到容易遮挡车辆目标的主要地面物体是树木和建筑物，我们选择了十个区域，涵盖了六种典型的易遮挡场景，包括工厂、校园、别墅区、村庄、农场和林地。图4展示了每个场景对应的示例图像。此外，为了获取用于训练感知模块的数据，我们额外指定了一个开放区域来放置这十个目标，并收集了无遮挡条件下的多视图成像结果。
3.2 数据收集
ATRNet-LUDO数据集是通过无人机在多个地面区域的预定义空间位置进行航空采样收集的。其多样性在场景覆盖、目标类别和空间目标-背景关系方面得到了系统性的丰富。
具体而言，每个调查区域被划分为四个 80m×80m80\text{m} \times 80\text{m}80m×80m 的子区域，目标随机定向并放置在遮挡物附近，以模拟复杂的真实世界分布。为了确保足够的采样多样性，每次航空捕获后都会重置目标布局，每个子区域产生五次重复采样试验。每次试验对应一个具有唯一ID的独立交互环境。
基于这种可配置的采样策略，获取了40个子区域中10个目标类别的多视图数据，生成了121,000张全景图像和1,210,000张局部目标切片。构建的数据集支持200个多目标和2000个单目标AOD仿真环境。所有全景图像的捕获分辨率为 8000×60008000 \times 60008000×6000 像素，而每个局部切片被裁剪为以目标为中心的 300×300300 \times 300300×300 像素区域，保留了细粒度的目标和周围上下文细节。
图5可视化了单个子区域内10类车辆目标的无人机多视图采样。在子区域中心周围放置目标后，DJI Mavic 3 Enterprise无人机进行航空捕获；其机载相机在100米高度提供 0.036m0.036\text{m}0.036m 的地面采样距离。采样点组织成具有相同水平坐标的五个高度层，从 hmin=120mh_{min} = 120\text{m}hmin=120m 开始，垂直间距为 Δh=30m\Delta h = 30\text{m}Δh=30m。每层具有一个与经纬线对齐的 10×1010 \times 1010×10 网格，包含121个采样节点，间距为 Δl=40m\Delta l = 40\text{m}Δl=40m。总计，一个子区域覆盖 5×121=6055 \times 121 = 6055×121=605 个采样位置。无人机沿着图5中的红色飞行轨迹在所有节点捕获图像，同时保持相机朝向子区域中心。这在每个子区域产生605个多视图全景帧和6,050个裁剪的局部目标切片。
3.3 数据标注
如图6所示，所有收集的全景图像在标注前按环境ID排序。标注流程包括全景图像标注和局部切片标注。大约三十名标注员在X-AnyLabeling工具42上接受了专业培训，并在正式标注前通过了资格考试。在全景标注中，每个目标用水平框包围，并标注类别和遮挡属性。同时，同步记录辅助元数据，包括环境ID、无人机地理位置、相机俯仰角/方位角和目标方向。为了保证标签质量，我们采用随机人工检查和算法验证。缺失目标、类别错误、边界框不准确或信息冗余的标注将被返回修改。
第二阶段标注涉及局部切片和标签转换。从全景图像中裁剪以目标为中心的 300×300300 \times 300300×300 局部切片。对于部分遮挡的目标，切片中心直接从标注的边界框中心导出，而完全遮挡的目标需要坐标预测。我们构建了一个深度神经网络，使用场景目标地理位置、无人机姿态和子区域中心坐标来推断其像素位置，平均预测误差为53像素。大多数标注属性（包括环境ID、无人机地理位置、相机角度、目标方向、类别和遮挡状态）均继承自全景标签。只有边界框坐标从全景坐标系转换到切片坐标系。对于完全遮挡的目标，边界框统一设置为 99,99,201,20199, 99, 201, 20199,99,201,201。所有注释均以XML格式存储。
3.4 数据集划分
为了构建用于UGAOD策略评估的统一基准，我们划分了ATRNet-LUDO数据集，以测试在两种现实环境差异下的策略泛化能力：共享子区域内不同的目标-背景布局，以及完全未见的采样区域。相应地，设计了两种数据划分策略来评估不同难度级别的策略泛化。如图8(a)所示，原始的200个多目标环境（2000个单目标环境）通过两种方案进行划分。第一种按采样试验划分，前三次试验用于训练，其余用于测试。第二种按地理区域划分，前六个区域用于训练，其余四个用于测试。
考虑到原始环境巨大的轨迹多样性和高冗余度，冗余的背景和相似的目标布局会导致高昂的计算成本和缓慢的策略收敛。因此，我们在保持场景多样性的同时，选择了50个具有代表性的多目标环境（500个单目标环境），如图8(b)所示。上述两种划分方案被重新应用于精简后的子集，以在不降低泛化评估的情况下加速评估。
3.5 统计与分析
ATRNet-LUDO的一个核心优势在于丰富的目标-背景空间布局产生了多样的遮挡模式，支持遮挡条件下主动感知算法的训练和评估。图9绘制了所有目标类别的遮挡统计数据：超过70%的目标受到遮挡，以部分遮挡为主，同时包含完全遮挡的样本。
相邻的多视图图像模拟了用于主动策略训练和基准测试的无人机飞行轨迹。图10统计了在不同最大步长 AAA 和最大步数 TmaxT_{max}Tmax 下的可行轨迹数量。在每一步，无人机选择1到 AAA 个单位的移动或终止，重复最多 TmaxT_{max}Tmax 步。轨迹数量随 AAA 和 TmaxT_{max}Tmax 呈指数增长；当 A=Tmax=3A = T_{max} = 3A=Tmax=3 时，数量超过1000万，证明了该数据集覆盖多样化航空观测工作流的能力。
我们统计分析了2000个环境中1,210,000个局部切片的属性多样性，以验证数据集的丰富性（图11）。对于每个切片，亮度由平均灰度像素值量化，对比度由灰度标准差量化，饱和度由HSV饱和度通道的标准差量化。数据收集跨越五个月及每日全日照时间，产生了多样的光照、雾天和天气条件。这导致在所有三个属性维度上都有广泛的分布覆盖。这些结果表明，ATRNet-LUDO涵盖了丰富、真实的成像变化，为复杂环境条件下的无人机-地面主动检测和识别提供了高质量的数据。
此外，统计结果表明，全景图像中心的空间分辨率大约在 0.04m/pixel0.04\text{m/pixel}0.04m/pixel 到 0.13m/pixel0.13\text{m/pixel}0.13m/pixel 之间，平均和中值分辨率均为 0.09m/pixel0.09\text{m/pixel}0.09m/pixel，表明数据集图像整体具有高分辨率。
4 方法 (APPROACH)
本节首先制定AOD问题，并回顾如何在DRL框架内解决该问题。接下来，介绍所提出的用于主动观测策略学习的WMPL方法，详细阐述WMPL方法中世界模型与智能体策略网络的联合训练机制。
4.1 问题公式化
UGAOD场景如图12所示。当无人机在初始时刻检测到可疑目标时，AOD过程启动。此时的目标观测图像记为 o1o_1o1。在随后的每个时间步，智能体的决策模块基于观测历史 hhh 选择动作 aaa，观测历史包括从时间步 ttt 开始的所有观测图像和执行的动作。动作 aaa 可以引导无人机移动到最佳观测视点或终止AOD过程。AOD任务的目标是使无人机能够使用历史观测数据在环境中进行路径规划，旨在以最小的时间成本移动到最佳观测位置并提高目标识别的准确性。因此，我们将智能体主动观测策略学习的问题公式化为以下优化问题：
minωE(o1,y)∼DLc(P(Fenv(o1,πω)),y)+λL(o1,πω)(1) \min_{\omega} \mathbb{E}_{(o_1,y)\sim D} \left L_c(P(F_{env}(o_1, \\pi_\\omega)), y) + \\lambda L(o_1, \\pi_\\omega) \\right \quad (1) ωminE(o1,y)∼DLc(P(Fenv(o1,πω)),y)+λL(o1,πω)(1)
这里，ooo 表示智能体对感兴趣区域的观测数据，由三个部分组成：观测图像 III、目标边界框 bbb 和无人机镜头方向（相对于正北方向的角度）α\alphaα。yyy 表示目标的真实身份标签，DDD 表示 (o1,y)(o_1, y)(o1,y) 的数据分布。参数为 ω\omegaω 的 πω\pi_\omegaπω 是用于决策的策略模型；πω\pi_\omegaπω 基于历史观测数据 ht=(o1,a1,o2,a2,...,ot)h_t = (o_1, a_1, o_2, a_2, ..., o_t)ht=(o1,a1,o2,a2,...,ot) 选择动作，即 at=πω(ht)a_t = \pi_\omega(h_t)at=πω(ht)。
随后，运动控制模块根据选择的动作引导智能体移动。此时，环境将新的观测数据 ot+1o_{t+1}ot+1 反馈给智能体，然后进入下一个"决策-运动-观测"循环。
通常假设 ot+1o_{t+1}ot+1 中的目标位置 bt+1b_{t+1}bt+1 可以使用目标跟踪算法轻松确定17。AOD过程的终止时间也由 πω\pi_\omegaπω 决定。函数 Fenv(⋅)F_{env}(\cdot)Fenv(⋅) 由智能体所在的环境决定：给定 o1o_1o1 和 πω\pi_\omegaπω 作为输入，环境返回智能体在策略 πω\pi_\omegaπω 下最终获得的最佳观测 o∗o^*o∗，即：
Fenv(o1,πω)=o∗(2) F_{env}(o_1, \pi_\omega) = o^* \quad (2) Fenv(o1,πω)=o∗(2)
在此映射过程中，决策模块可以执行多次决策，智能体与环境交互多次。P(⋅)P(\cdot)P(⋅) 表示智能体的感知模型，可以根据观测数据确定目标类别。LcL_cLc 表示交叉熵损失函数。
另一方面，我们将整个运动过程中的总路径长度纳入优化目标，该长度由函数 L(o1,πω)L(o_1, \pi_\omega)L(o1,πω) 计算。这两个组件在优化目标中的比例由系数 λ\lambdaλ 调整。
高维图像输入与最佳动作选择之间存在高度复杂的非线性映射关系。此外，基于少量2D观测图像理解3D世界会给这种复杂的映射引入额外的不确定性。因此，依赖精确系统模型的传统控制技术不适用于AOD问题，应采用数据驱动的方法。考虑到AOD本质上是基于高维观测的序列决策问题，现有方法通常在DRL框架内解决它。首先，将AOD问题建模为部分可观察马尔可夫决策过程（POMDP），可以用7元组 ⟨S,A,O,T,Ω,R,γ⟩\langle S, A, O, T, \Omega, R, \gamma \rangle⟨S,A,O,T,Ω,R,γ⟩ 描述。这里，SSS 表示状态空间，其中 s∈Ss \in Ss∈S 对应于从无人机观测导出的状态表示。AAA 表示动作空间，a∈Aa \in Aa∈A 是预定义的动作，由两个部分组成：动作类型 atypea_{type}atype 和动作范围 arangea_{range}arange，其中 atype∈{eastward, rightward, northward, southward, down, up, stop}a_{type} \in \{\text{eastward, rightward, northward, southward, down, up, stop}\}atype∈{eastward, rightward, northward, southward, down, up, stop}，arange∈{1,2,...,A}a_{range} \in \{1, 2, ..., A\}arange∈{1,2,...,A}。它们分别指定移动方向和距离。观测空间记为 OOO。状态转移函数表示为 T(s′∣s,a)T(s'|s, a)T(s′∣s,a)。观测函数 Ω(o∣s,a)\Omega(o|s, a)Ω(o∣s,a) 表示在状态 sss 下执行动作 aaa 后接收到观测 ooo 的概率。γ\gammaγ 是用于计算奖励的折扣因子。R(s,a)R(s, a)R(s,a) 是奖励函数，定义如下：
R(s,a)={D1−σ⋅arange,if flag=1,reco=1−D1−σ⋅arange,if flag=1,reco=0−D2−σ⋅arange,if flag=0(3) R(s, a) = \begin{cases} D_1 - \sigma \cdot a_{range}, & \text{if } flag=1, reco=1 \\ -D_1 - \sigma \cdot a_{range}, & \text{if } flag=1, reco=0 \\ -D_2 - \sigma \cdot a_{range}, & \text{if } flag=0 \end{cases} \quad (3) R(s,a)=⎩ ⎨ ⎧D1−σ⋅arange,−D1−σ⋅arange,−D2−σ⋅arange,if flag=1,reco=1if flag=1,reco=0if flag=0(3)
奖励在三种不同场景下取不同的值。变量 flag=1flag=1flag=1 表示当前回合结束，而 flag=0flag=0flag=0 表示智能体继续与环境交互。变量 recorecoreco 表征智能体在状态 sss 下执行动作 aaa 后目标是否被正确识别：如果目标识别成功，则 reco=1reco=1reco=1，如果失败，则 reco=0reco=0reco=0。请注意，分类器仅对根据目标边界框裁剪的目标切片进行分类。正常数 D1D_1D1 和 D2D_2D2 分别表示基础奖励和基础运动成本。σ\sigmaσ 表示运动成本系数：当动作类型 atype=stopa_{type} = \text{stop}atype=stop 时，σ=0\sigma = 0σ=0；否则，σ\sigmaσ 设置为固定值 CCC。较大的 σ\sigmaσ 表示奖励函数更强调智能体的运动成本。基于上述设置，我们可以将公式1中的策略优化问题重写如下：
π∗=argmaxπ∈ΠEs∼d(s)r(s)(4) \pi^* = \arg\max_{\pi \in \Pi} \mathbb{E}_{s \sim d(s)}r(s) \quad (4) π∗=argπ∈ΠmaxEs∼d(s)r(s)(4)
这里，Π\PiΠ 表示所有可行策略的集合。初始状态分布由 d(s)d(s)d(s) 给出。一个回合的回报表示为 r(s)r(s)r(s)，其定义为 TmaxT_{max}Tmax 个时间步上奖励的加权和，数学表达式如下：
r(s):=Eat∼π(at∣st),st+1∼T(st+1∣st,at)∑t=0Tmax−1γtR(st,at)∣s0=s(5) r(s) := \mathbb{E}{a_t \sim \pi(a_t|s_t), s{t+1} \sim T(s_{t+1}|s_t, a_t)} \left \\sum_{t=0}\^{T_{max}-1} \\gamma\^t R(s_t, a_t) \\bigg\| s_0 = s \\right \quad (5) r(s):=Eat∼π(at∣st),st+1∼T(st+1∣st,at)t=0∑Tmax−1γtR(st,at) s0=s(5)
需要注意的是，在POMDP中，上述状态 sss 无法直接观察，必须基于观测历史 hhh 进行估计。
此外，鉴于智能体的策略在不同的环境中进行训练和评估，我们引入了上下文马尔可夫决策过程（CMDP）24。CMDP是POMDP的一种变体，它结合了上下文信息，旨在评估智能体在面对新环境时的零样本泛化（ZSG）能力。具体而言，CMDP由元组 ⟨S′,A,C,O,T,Ω,R,p,γ⟩\langle S', A, C, O, T, \Omega, R, p, \gamma \rangle⟨S′,A,C,O,T,Ω,R,p,γ⟩ 定义，其中 CCC 表示上下文空间，S′S'S′ 表示潜在状态空间，并且存在映射 S′×C→SS' \times C \rightarrow SS′×C→S 将潜在状态和上下文与实际状态空间 SSS 关联。潜在状态变量 s′s's′ 明确指定了无人机与目标之间的相对位置关系，而上下文变量 ccc 进一步描述了目标的身份、外观以及周围地面物体的空间分布等信息。在整个回合中，上下文变量保持不变。
对于具有上下文空间 CCC 的CMDP，策略 π\piπ 的期望回报计算为：
r(π,M∣c):=Ec∼p(c)r(π,Mc)(6) r(\pi, M|c) := \mathbb{E}_{c \sim p(c)}r(\\pi, M_c) \quad (6) r(π,M∣c):=Ec∼p(c)r(π,Mc)(6)
这里，p(c)p(c)p(c) 表示 CCC 中上下文变量的分布，McM_cMc 是特定上下文变量 ccc 下的CMDP。
我们将 CtrainC_{train}Ctrain 和 CtestC_{test}Ctest 分别定义为训练上下文空间和测试上下文空间。通过与多个训练环境交互，智能体可以学习最佳策略 πtrain∗\pi^*_{train}πtrain∗，其定义如下：
πtrain∗=argmaxπ∈Πr(π,M∣Ctrain)(7) \pi^*{train} = \arg\max{\pi \in \Pi} r(\pi, M|C_{train}) \quad (7) πtrain∗=argπ∈Πmaxr(π,M∣Ctrain)(7)
最后，我们评估策略在测试环境中的泛化能力。我们的最终目标是通过改进策略学习方法来求解 πtrain∗\pi^*{train}πtrain∗，使得 r(πtrain∗,M∣Ctest)r(\pi^*{train}, M|C_{test})r(πtrain∗,M∣Ctest) 最大化。
4.2 世界模型辅助主动观测策略学习方法
我们利用由AOD-JEPA构建的世界模型来提高智能体状态表示的质量，从而增强DRL算法的策略学习性能。
在实际应用中，AOD-JEPA可以与任何同策略（on-policy）或异策略（off-policy）强化学习算法结合。在本文中，我们在AOD-JEPA架构下对世界模型与MAP方法17中采用的Dueling DQN43策略网络进行联合训练，我们将这种提出的AOD策略学习方法称为WMPL。接下来，我们详细阐述该方法的详细工作流程。
首先，如图13(a)所示，智能体与环境多次交互并生成交互数据 (ht,at,Rt,ht+1)(h_t, a_t, R_t, h_{t+1})(ht,at,Rt,ht+1)，这些数据存储在经验回放缓冲区 BBB 中。观测历史 hth_tht 由两个部分组成：观测数据序列和动作序列。为了执行AOD任务，要求智能体利用记忆编码器 fθf_\thetafθ 融合观测历史并提取与任务相关的状态表示 sts_tst。具体而言，在本文采用的记忆编码器中，我们首先利用多层感知器按时间顺序处理观测历史中的多模态信息，生成对应于每个时间步的多种类型的特征。然后将这些特征连接起来形成特征序列 (g1,g2,...,gt)(g_1, g_2, ..., g_t)(g1,g2,...,gt)，随后通过门控循环单元（GRU）网络进行融合，生成状态表示 sts_tst。值得注意的是，在专门处理观测图像的分支中，我们遵循17中的做法，采用在ImageNet45上预训练的ResNet50网络44的主干来处理观测图像并提取视觉特征。接下来，Q网络 QϕQ_\phiQϕ 基于抽象的状态表示输出所有候选动作的值估计 qtq_tqt。由于每个动作包含两个组成部分，即动作类型和动作幅度，我们首先利用Q网络内的两个独立分支分别评估这两个维度上所有可能动作选择的值。随后，通过广播和求和操作，我们获得在动作类型和动作幅度维度张成的平面上所有动作组合的值估计 qtq_tqt。在训练期间，使用 ϵ\epsilonϵ-greedy 策略从 qtq_tqt 中选择动作 ata_tat。然后，无人机平台根据选择的动作飞往新的观测位置，环境反馈新的观测图像 ot+1o_{t+1}ot+1 和奖励 RtR_tRt。
在图13(b)所示的训练阶段，当经验回放缓冲区 BBB 中存储的经验数据量超过阈值 threthrethre 时，从中随机采样一批交互经验数据用于损失计算。
策略网络更新期间需要计算的损失由两个部分组成：强化学习损失和特征预测损失。在Dueling DQN算法中，为了确保策略网络更新的稳定性，通常引入目标记忆编码器 f^θ\hat{f}\thetaf^θ 和目标Q网络 Q^ϕ\hat{Q}\phiQ^ϕ 来估计目标动作值。在训练阶段，这两个目标网络通过硬更新机制重写自身的权重，即每 NuN_uNu 个回合将 fθf_\thetafθ 和 QϕQ_\phiQϕ 的权重分配给 f^θ\hat{f}\thetaf^θ 和 Q^ϕ\hat{Q}\phiQ^ϕ。在此基础上，强化学习损失可以公式化为：
LRL(θ,ϕ)=E(ht,at,Rt,ht+1)∼BQ(f(ht;θ),at;ϕ)−(Rt+γmaxa′Q\^(f\^(ht+1;θ\^),a′;ϕ\^))2(8) L_{RL}(\theta, \phi) = \mathbb{E}{(h_t,a_t,R_t,h{t+1})\sim B} \left Q(f(h_t; \\theta), a_t; \\phi) - \\left( R_t + \\gamma \\max_{a'} \\hat{Q}(\\hat{f}(h_{t+1}; \\hat{\\theta}), a'; \\hat{\\phi}) \\right) \\right^2 \quad (8) LRL(θ,ϕ)=E(ht,at,Rt,ht+1)∼BQ(f(ht;θ),at;ϕ)−(Rt+γa′maxQ\^(f\^(ht+1;θ\^),a′;ϕ\^))2(8)
特征预测损失来源于下一步观测特征预测任务。如图13(b)的上半部分所示，AOD-JEPA结合了基于JEPA的场景净化操作，整合了AOD任务的先验知识。具体而言，我们利用SAM3模型通过边界框分割目标并保留其原始像素。同时，由于SAM3模型可以根据语言提示分割图像中同一类别的所有对象实例，我们为同一类别的地面物体掩码分配相同的灰度值。这在保留语义信息的同时过滤了它们的颜色和纹理信息，从而进一步消除了无关信息对状态表示学习的干扰。最后，简化的图像由预训练的ResNet50主干处理，以获得用于预测的改进目标特征。在记忆编码器中，我们还对观测历史中的观测图像序列执行场景净化操作。特征预测器是一个三层全连接网络 lψl_\psilψ，它基于输入的状态表示 sts_tst 和动作 ata_tat 预测下一步观测图像的特征。最后，将预测值与改进的目标特征进行比较，计算预测损失 LPRL_{PR}LPR，其定义为：
LPR(θ,ψ)=E(ht,at,Rt,ht+1)∼BMSE(l(f(ht;θ),at;ψ),fp(ot+1))(9) L_{PR}(\theta, \psi) = \mathbb{E}{(h_t,a_t,R_t,h{t+1})\sim B} \left MSE(l(f(h_t; \\theta), a_t; \\psi), f_p(o_{t+1})) \\right \quad (9) LPR(θ,ψ)=E(ht,at,Rt,ht+1)∼BMSE(l(f(ht;θ),at;ψ),fp(ot+1))(9)
其中 MSEMSEMSE 表示均方误差。因此，所提出方法的整体优化目标公式化为：
minθ,ϕ,ψE(ht,at,Rt,ht+1)∼BLRL(θ,ϕ)+ζLPR(θ,ψ)(10) \min_{\theta,\phi,\psi} \mathbb{E}{(h_t,a_t,R_t,h{t+1})\sim B} \left L_{RL}(\\theta, \\phi) + \\zeta L_{PR}(\\theta, \\psi) \\right \quad (10) θ,ϕ,ψminE(ht,at,Rt,ht+1)∼BLRL(θ,ϕ)+ζLPR(θ,ψ)(10)
在训练阶段，当智能体与环境交互时，我们从经验回放缓冲区 BBB 中采样一批经验数据进行损失计算和反向传播。优化目标中两个损失项的权重通过系数 ζ\zetaζ 调整。在推理阶段，仅保留记忆编码器 fθf_\thetafθ 和Q网络 QϕQ_\phiQϕ 用于动作选择。
5 基准 (BENCHMARK)
5.1 评估任务与指标
鉴于目前AOD领域的研究主要集中在单目标场景，本文首先建立了单目标设置下UGAOD策略学习方法的评估基准。使用的数据包括局部目标切片图像及其相应的注释。基于AOD问题的定义，我们将具体的评估任务定义如下：智能体的策略模型在给定的训练环境中使用特定的AOD策略学习方法进行训练，随后，训练好的策略在测试环境中运行AOD任务推理；评估指标量化其测试性能以比较不同的AOD策略学习方法。我们采用三种种子平均的定量指标进行评估：回报值、识别率和移动距离。识别率表示任务成功概率，定义为在最后观测步成功识别的回合数与总回合数的比率。
平均移动距离量化了无人机航空感知的时间和能量消耗，其计算方式为所有回合的平均飞行距离。作为一个综合指标，平均回报值平衡了识别性能和运动成本。考虑到AOD任务追求以最小的运动开销获得最佳的感知性能，我们将平均回报值作为主要评估指标，该指标通过平均所有测试回合的累积回报来计算。
5.2 实现细节
为了保持一致和公平的评估，澄清了几个实现细节。所有无人机观测都限制在ATRNet-LUDO数据集的预定义区域范围内，一旦智能体越界，回合即终止并丢弃，不计入统计。在训练期间，在受控随机种子下随机采样环境和无人机初始位置。对于测试，循环选择测试环境，而初始观测位置随机初始化。此外，如果目标完全遮挡且无法从起始视图定位，则重新采样初始位置。为了公平比较，所有基线方法采用相同的训练和测试回合设置，并经过充分训练直至收敛。
另一方面，智能体的感知模块在所有基线方法中是相同的------即它们共享单个目标分类器------从而确保其基本感知能力的一致性。为简单起见，我们采用ResNet18分类网络作为分类器。从用于策略训练的观测图像中裁剪出一小部分无遮挡的局部目标切片，以构建专用于该分类器的训练集。
6 实验 (EXPERIMENTS)
本章的目的是全面评估各种AOD策略学习方法在已建立基准上的性能，同时验证基于AOD-JEPA架构的世界模型在增强策略泛化性能方面的有效性和先进性。
6.1 基线
评估中涉及的AOD策略学习方法包括MTL46、MAP17、SSL-MAP13、IBE-MAP20和WMPL。为了确保公平比较，所有这些方法都采用图13(a)所示的双分支深度网络模型，其中两个网络分支专门用于输出动作类型选择和动作幅度选择。此外，我们进一步比较了两种启发式主动观测策略：随机观测策略和向前观测策略。在随机观测策略下，智能体在每个时间步从可选动作中随机选择一个动作输出。相反，采用向前观测策略意味着智能体在每个决策步选择当前水平面上的正北方向，幅度为1个单位。
另一方面，为了验证AOD-JEPA在构建UGAOD任务世界模型中的有效性和先进性，我们将其与采用其他SSL架构的世界模型训练方法进行了比较。其中最具代表性的基线方法是基于对比学习47, 48、奖励模型49、逆模型50、前向模型34和预测编码51等范式衍生的SSL预训练任务设计的。对比学习方法通过构建正负样本对来学习有效的状态特征表示，对应于JEA架构。具体而言，对于给定的一批观测历史数据，首先对图像应用数据增强技术（例如随机掩码）；增强后的数据被视为正样本，而同一批次内的其他历史数据被视为负样本。随后，优化InfoNCE损失函数52以最大化表示空间中正样本特征与锚点特征之间的相似度，同时将负样本特征推离锚点特征。基于奖励模型、前向模型和逆模型的方法设计了不同的预训练任务：它们要么基于当前状态和智能体执行的动作预测下一步奖励或状态，要么推断智能体在两个连续状态之间采取的动作。预测编码方法的核心思想是从当前状态和动作重建下一步观测数据，这使智能体能够自动构建环境的内部表示。它是GA架构的一种实践。为了确保公平比较，我们采用MAP17策略学习方法作为基线，并将其与基于不同SSL架构的世界模型训练方法集成。然后我们观察并比较它们各自对智能体主动观测策略学习的增益。
6.2 参数配置
为了确保本章实验结果的良好可重复性，我们提供了模型和学习算法关键参数默认配置的以下规范。首先，对于图13中的智能体策略网络模型，其输入是分辨率为 3×300×3003 \times 300 \times 3003×300×300 像素的局部目标切片图像。策略网络模型的输出动作空间由两个维度组成：动作类型和动作幅度。可选动作类型包括七个类别，即向上、向下、向东、向西、向南、向北和停止。最大动作幅度设置为 A=4A = 4A=4，可选值为 1,2,...,A1, 2, ..., A1,2,...,A。每个单位在水平面上对应40米，在垂直轴上对应30米。
在训练阶段，训练轮数设置为100。在每一轮中，智能体与训练环境交互3000个回合并相应地更新其策略网络。每轮训练完成后，在测试环境中对智能体进行3000个回合的评估以验证其性能。奖励函数中的折扣因子 γ\gammaγ 设置为0.9，而变量 D1D_1D1、D2D_2D2 和 CCC 分别配置为0.5、0.01和0.01。对于非启发式策略学习方法，智能体以概率 ϵ\epsilonϵ 采取随机动作进行环境探索。该概率的初始值设置为1，随着训练回合数的增加呈指数衰减至最小值0.01。经验回放缓冲区 BBB 的容量设置为20000，其阈值 threthrethre 配置为5000。对于硬更新操作，目标网络的更新间隔 NuN_uNu 设置为100。采用Adam优化器在训练期间更新整个策略网络，学习率设置为 1×10−41 \times 10^{-4}1×10−4，批次大小 bsb_sbs 设置为512。
6.3 基准测试结果与分析
在正式评估各种UGAOD策略学习方法之前，我们首先测试了多个经典深度检测和识别模型在ATRNet-LUDO数据集上的性能，旨在丰富现有的无人机图像检测和识别任务评估基准。在此基础上，我们重点分析了遮挡对现有检测和识别方法的影响，以验证主动感知应用的重要性。具体而言，实验的第一部分涵盖了两个主要任务：全景多目标检测和局部切片识别。对于检测任务，我们在MMDetection框架58下部署了Faster R-CNN53、RetinaNet54、SSD51255、YOLOX-L56和Deformable DETR57。我们随机采样了对应于收集区域1-5的10%标注全景图像作为训练集，其余图像作为简单测试集；对应于区域6-10的样本集被指定为困难测试集。对于识别任务，我们基于PyTorch Model Zoo库63选择了VGG1659、ResNet5044、ViT-B60、Swin-B61和ConvNeXt62作为基线方法。在数据集划分方面，我们还随机采样了对应于区域1-5的10%局部切片图像作为训练集，其余图像用作简单测试集；对应于区域6-10的标注切片集被定义为困难测试集。
图14定量评估了主流检测和识别模型在简单和困难测试集上的泛化能力。检测性能通过 mAP0.5:0.95mAP_{0.5:0.95}mAP0.5:0.95 衡量。由于多尺度特征金字塔融合，SSD512和RetinaNet分别取得了0.65和0.63的有竞争力的结果，尽管所有检测器在分布偏移的困难测试集上都下降了近五个百分点。对于识别，分类准确率在不同架构之间存在很大差异。现代模型如ConvNeXt和Swin-B产生了卓越的泛化能力，其中ConvNeXt在简单和困难集上分别获得了0.93和0.87的准确率。这验证了大核卷积设计能够有效地为具有挑战性的无人机场景提取鲁棒的细粒度车辆特征。
我们进一步分析了传统检测和识别模型因遮挡导致的性能下降。图15比较了简单测试集上遮挡和非遮挡条件下的感知成功率。在图15(a)中，包括SSD512和RetinaNet在内的主流检测器实现了高非遮挡检测精度，mAP0.5:0.95mAP_{0.5:0.95}mAP0.5:0.95 分别达到0.75和0.73，而遮挡导致性能严重恶化。具体而言，YOLOX-L最容易受到遮挡的影响，准确率从0.70下降到0.38，下降了46.2%。对于视觉识别，尽管整体准确率不错，但遮挡也产生了显著的负面影响。VGG16表现出最差的遮挡鲁棒性，性能下降了22.4%。相比之下，ViT-B、Swin-B和ConvNeXt通过强大的全局上下文建模减轻了准确率下降，但它们无法完全消除遮挡干扰。这些结果表明，最先进的被动感知方法仍然受到遮挡缺失特征引起的普遍性能限制。这体现了在复杂场景中进行鲁棒视觉识别的主动感知的必要性。
为了验证所提出的基于AOD-JEPA的WMPL方法的泛化优势，我们在默认设置下将其与现有的AOD策略学习方法进行了比较，总结在图16中。图表说明了回报、识别率和移动距离随训练回合变化的趋势，其中实线和虚线分别对应训练和测试环境上的性能。所有实验均使用五个随机种子重复进行，以消除DRL的随机性，随后进行滑动窗口平滑和平均平均以进行稳定可视化。阴影区域表示结果波动，而随机和向前策略仅绘制平均曲线，因为其方差严重。
实验结果表明，随机和向前策略都维持了较低的感知性能，没有观察到改善。相比之下，所有基于学习的主动策略随着训练逐渐提高无人机识别准确率，但其性能受到明显上限的限制。这种限制源于丰富的训练环境引起了冲突的梯度更新并限制了优化。此外，明显的训练-测试性能差距表明学习到的状态表示质量不足。总体而言，所提出的WMPL以最小的泛化差距实现了最佳的泛化性能，在低运动成本下产生了最高的识别率。尽管MAP、MTL和SSL-MAP获得了具有竞争力的训练回报，但它们的性能在测试期间急剧下降。虽然IBE-MAP保持了适度的泛化差距，但其较低的训练样本效率导致最终测试准确率不如WMPL。
表2定量基准测试了两种数据集划分协议下所有策略学习方法，所有指标在30,000次推理上平均，粗体值表示最佳性能。在训练阶段，所有基于DRL的方法都产生了有效的主动观测策略，以低运动成本实现了高识别准确率。然而，所有策略在保持稳定运动开销的同时，在未见的测试环境中都遭受了严重的识别退化，导致回报性能出现显著的泛化差距。值得注意的是，第二种划分方案产生的泛化差距比第一种大得多。第一种划分仅在相似背景场景中改变目标布局，而第二种划分完全分离了训练和测试场景，呈现出更高的泛化难度。
在这两种具有挑战性的设置下，所提出的WMPL方法始终实现了卓越的测试泛化性能，证明了其在不同环境分布之间进行策略转移的鲁棒性。
另一方面，对比语言-图像预训练（CLIP）视觉编码器配备了强大的语义信息提取能力，这可以帮助策略模型在对象搜索和对象重排等具身任务中实现显著的性能提升64。因此，我们将图13中策略网络中的视觉编码器替换为通过CLIP范式预训练的ResNet50主干。在此基础上，我们使用各种策略学习方法训练了智能体的主动观测策略，并进一步比较了不同策略在训练和测试环境中的平均性能结果。如表3所示，数值结果表明，在AOD-JEPA架构的帮助下，WMPL仍然使智能体能够学习具有最强泛化能力的主动观测策略。与随机或向前策略相比，它可以显著降低无人机的运动成本，同时在测试环境中带来超过20%的目标识别率增益。与MAP、MTL和SSL-MAP等方法相比，WMPL可以在测试阶段将目标识别率进一步提高两个百分点或更多。
接下来，我们比较了不同SSL架构的世界模型训练在MAP基线策略学习方法上的增益。表4报告了各种方法学习的策略在测试环境中30,000次推理上的平均结果。对比学习、预测编码和AOD-JEPA分别对应于上述SSL架构JEA、GA和JEPA。与JEPA不同，奖励、逆和前向模型的预测预训练任务基于马尔可夫决策过程框架调整预测模型输入或输出。在表中，"w/o SP"和"w/ SP"分别表示没有和有场景净化的场景。总体而言，场景净化在所有条件下显著提升了策略学习并提高了测试时的策略回报。在SSL架构中，只有预测编码和AOD-JEPA稳定地增强了基线上的智能体策略学习，其中AOD-JEPA提供了最显著的增益。
我们认为，从历史观测中预测依赖于动作的下一观测变化，引导模型关注传感器平台、目标和地面物体之间的空间关系。此外，特征空间中的联合嵌入预测和场景净化消除了无关信息干扰，提高了状态表示质量，从而增强了策略泛化。相比之下，使用奖励和前向模型进行的世界模型训练对策略学习的益处微乎其微，而基于对比学习和基于逆模型的SSL架构甚至损害了性能。对比学习的核心问题在于其实例判别范式：大量批次负样本（来自不同环境的历史观测）的特征被推离锚点样本特征。然而，一些负样本与锚点共享相同的语义信息------即相同的动作对两者产生相似的回报和后续状态。这种矛盾违反了实例判别原则，破坏了表示学习。逆模型失败可能是因为预测任务的两个输入变量的维度远高于输出，导致模型崩溃27, 65。这些结果验证了AOD-JEPA在构建UGAOD任务特定世界模型方面的有效性和优越性。
6.4 消融研究
为了进一步验证AOD-JEPA架构在WMPL方法中的有效性，我们在本节进行了消融实验。如图18所示，不同消融配置下的WMPL策略学习方法对应于不同颜色的训练和测试性能曲线。其中，Vanilla表示没有任何改进的基线MAP策略学习方法；JEPA指在策略网络学习期间基于JEPA架构同步训练世界模型；SP表示在基线上添加场景净化操作。JEPA-IT中的IT是improved target的缩写，意味着在JEPA架构中对下一时间观测图像应用场景净化，而预测模型输入保持不变。AOD-JEPA集成了联合嵌入预测和场景净化操作。从图18的结果来看，JEPA和场景净化都显著提升了智能体的策略学习。具体而言，JEPA和JEPA-IT提高了训练样本效率，而场景净化消除了无关特征以缓解过拟合，从而在一定程度上限制了训练性能曲线的上升。然而，所有这三种方法都增强了测试环境中主动观测策略的泛化性能，并帮助智能体实现更高的测试回报。比较JEPA和JEPA-IT表明，在JEPA中仅净化预测目标产生的影响可以忽略不计，并且无法进一步提高策略泛化。相反，直接对策略网络输入执行场景净化在早期训练中迅速提升了泛化，其效果比JEPA和JEPA-IT更显著。因此，AOD-JEPA对场景净化的观测图像执行特征预测，有效地提高了学习到的策略质量，并极大地缩小了测试和训练性能曲线之间的泛化差距。
在不同配置下使用AOD-JEPA训练的策略网络在训练和测试环境中的评估结果如表5所示。这些数值结果的比较可以清楚地支持上述结论。关于主要回报指标，尽管JEPA和场景净化操作对训练环境中的策略学习都有正反两方面的影响，但它们都有效地提高了测试环境中主动观测策略的性能。与基线版本相比，JEPA和JEPA-IT可以在测试阶段将目标识别率提高两个百分点以上，而场景净化操作可以在降低运动成本的同时将识别率提高1.3个百分点。最终，完全配置的AOD-JEPA可以将回报水平从基线版本的0.071提高35.2%，在运动成本略有增加的代价下实现3.4个百分点的目标识别率增益。
最后，为了进一步探讨世界模型训练损失在总损失中比例的影响，我们对公式(10)中的权重系数 ζ\zetaζ 进行了消融实验，并比较了不同值下主动观测策略的训练和测试性能。实验结果如图19所示。随着 ζ\zetaζ 的增加，世界模型训练损失在总损失中的比例逐渐扩大，为智能体的策略学习结果带来了两个明显的增益。首先，ζ\zetaζ 的增加可以提高训练期间的样本效率并增强智能体策略在测试环境中的泛化能力；因此，相应策略的训练和测试回报都增加了。另一方面，由于图中的每个数据点是具有不同随机种子的多次运行的平均结果，存在一定程度的波动，我们使用线段表示。可以看出，随着 ζ\zetaζ 的增加，不仅策略训练和测试评估结果的均值上升，而且其波动范围也逐渐缩小，表明性能变得更加稳定。上述实验现象表明，基于JEPA的世界模型训练确实有助于改善策略网络中的状态表示，从而增强其训练和测试性能。此外，在训练期间分配的权重越大，对状态表示的约束越重，这些有益的改进就变得越显著。
7 结论与未来展望 (CONCLUSION AND FUTURE PERSPECTIVES)
在本文中，我们发布了ATRNet-LUDO------首个用于UGAOD任务的大规模真实世界数据集。它包含121,000张多视图全景多目标航空图像和121万张多视图局部单目标航空图像切片，涵盖40个场景中的10类车辆目标。该数据集支持五项基于无人机图像的感知任务，包括单/多目标AOD、遮挡目标检测和识别，以及无人机视觉目标定位。基于该数据集，我们为无人机-地面单目标AOD任务建立了一个评估基准，明确定义了评估任务和指标。
这项工作促进了AOD策略学习方法的发展和比较，填补了该领域的关键空白。在方法论方面，为了解决现有方法学习的主动观测策略泛化能力差的问题，我们提出了新颖的WMPL方法。WMPL建立在AOD-JEPA架构之上，构建了一个UGAOD特定的世界模型以增强状态表示质量，从而提升了智能体学习策略的泛化性能。
UGAOD仍然是一个新兴领域，相关研究有限。正如我们的实验所示，训练中的样本效率和测试中的策略泛化仍然受到环境中冲突更新梯度以及次优状态表示的损害，留下了很大的改进空间。我们期望所提出的数据集和基准能为未来的研究奠定坚实的基础，并帮助学术界解决这些核心挑战。在未来的工作中，我们将探索UGAOD世界模型的设计和训练，使智能体能够通过3D场景理解学习更具泛化能力的主动观测策略。