这里写目录标题
- 2024
-
- [Accelerating Multi-UAV Collaborative Sensing Data Collection: A Hybrid TDMA-NOMA-Cooperative Transmission in Cell-Free MIMO Networks](#Accelerating Multi-UAV Collaborative Sensing Data Collection: A Hybrid TDMA-NOMA-Cooperative Transmission in Cell-Free MIMO Networks)
- [Adaptive Data Transport Mechanism for UAV Surveillance Missions in Lossy Environments(可以上手试一下)](#Adaptive Data Transport Mechanism for UAV Surveillance Missions in Lossy Environments(可以上手试一下))
- [QoE Optimization for Live Video Streaming in UAV-to-UAV Communications via Deep Reinforcement Learning](#QoE Optimization for Live Video Streaming in UAV-to-UAV Communications via Deep Reinforcement Learning)
2024
Accelerating Multi-UAV Collaborative Sensing Data Collection: A Hybrid TDMA-NOMA-Cooperative Transmission in Cell-Free MIMO Networks
摘要:本研究探讨了一种协同感知与数据收集系统,其中多个无人驾驶飞行器(UAV)感知感兴趣区域并将图像传输到云服务器(CS)进行处理。为了加快感知任务的完成,包括数据传输,任务被划分为每个UAV的独立私人感知任务以及所有UAV共同执行的公共感知任务,以实现协作传输。与现有研究不同,我们探索了采用先进的无基站多输入多输出(cell-free MIMO)网络,该网络能够有效管理无人机间的干扰。为了进一步优化无线信道利用率,我们提出了一种混合传输策略,结合了时分多址(TDMA)、非正交多址(NOMA)和协同传输。我们将任务拆分比例和混合TDMA-NOMA-协同传输策略的联合优化问题进行了公式化,目标是最小化任务完成时间。大量数值结果证明了所提出的任务分配和混合传输方案在加速感知任务完成方面的有效性。
Adaptive Data Transport Mechanism for UAV Surveillance Missions in Lossy Environments(可以上手试一下)
摘要:无人驾驶飞行器(UAV)在情报、监视和侦察(ISR)任务中扮演着越来越重要的角色,如边境巡逻和犯罪侦测,因为它们能够进入偏远区域并将实时图像传输到处理服务器。然而,UAV在载荷尺寸、功率限制和通信带宽方面受到较大制约,因此需要开发高效且有选择性的数据传输策略。这推动了各种UAV压缩和优化传输技术的发展。然而,大多数方法都力图在传输的视频帧中保留最大的信息,忽略了这样一个事实:在涉及移动目标检测与跟踪(OD/OT)的ISR场景中,图像/视频帧的某些部分才是真正对最终任务目标有意义的贡献。本文采用了不同的视角,提出了一种基于人工智能的调度策略,优先选择对任务目标具有重要贡献的图像区域。其关键思想是将图像分割成小块,并开发一个深度强化学习(DRL)框架,将更高的传输概率分配给与检测到的目标区域高度重叠的图像块,同时惩罚连续帧间的剧烈变化,以促进平滑的调度转换。虽然我们使用了Yolov-8目标检测和UDP传输协议作为基准测试场景,但该方法具有广泛的适用性,可用于不同的传输协议和目标检测/跟踪方法。为了进一步提升系统性能,并避免图像块杂乱导致的目标检测错误,我们还将其与帧间插值技术相结合。
贡献
同样,Uzkent等人[6]利用RL在大图像上优化目标检测,通过选择性地改变不同图像区域的空间分辨率来减少处理时间,同时保持精度。与此不同的是,我们的研究强调在最小数据量下进行目标检测,选择性地传输和处理仅关键的图像片段,这对于资源受限的UAV ISR任务至关重要。
在本研究中,我们提出了一种自适应通信协议,结合了用户数据报协议(UDP)的传输速度,并采用机制确保在实时UAV ISR任务中,关键视频数据的高效可靠传输。我们利用RL自动选择视频帧的关键区域,并集成YOLOv8[7]目标检测算法,优先传输最关键的部分,确保它们足够用于准确的目标检测和跟踪。此外,反馈机制会根据网络条件和任务需求的实时动态变化,不断调整传输策略,确保最佳性能。
本文的主要贡献包括:
设计一种基于RL的帧内调度策略,根据图像区域对任务目标的贡献分配传输概率。该方法可与优化的压缩和调度方法结合,优化资源受限的UAV的资源利用。
实现集成了帧间插值和YOLOv8的目标检测算法,提升性能。
在RL目标函数中加入惩罚项,以惩罚剧烈的帧间转变,避免连续帧间策略的急剧变化。
训练步骤:
最初,UAV通过UDP将前四个完整帧发送到服务器。这些帧用于训练结合YOLOv8的深度Q网络(DQN),该网络负责在帧中检测和识别目标物体。我们的主要关注点是单目标跟踪(SOT)。DQN通过接收的帧进行训练,学习帧中不同区域的重要性,并在网格单元上生成概率分布。训练过程的结果通过热图进行可视化,展示帧中不同区域的重要性变化,如图(3.a)所示。较亮的单元表示物体的存在或物体可能通过这些路径的概率,DQN已做出预测。图(3.b)展示了卡车的路径,这是通过将一些连续帧融合而成的,直观地表示了卡车的移动路径。然后,DQN准确预测了这一路径,突出了其在基于先前帧跟踪和预测卡车运动方面的有效性。
根据从DQN获得的概率生成的二进制掩码突出了帧中最关键的单元,确保只有最重要的区域被选中进行传输,从而优化了可用带宽的使用。该掩码随后作为反馈发送回UAV。反馈机制使得UAV在随后的传输中仅聚焦于传输帧中最关键的部分,基于获得的概率。在每一帧中,UAV将图像划分为K×K(K=8)个单元,并进一步使用掩码来决定将有多少个单元被传输到服务器。选择依据于不同百分比(5%、10%、25%、50%、75%、85%)的总单元数,选择这些单元时根据最高概率进行,反映了不同的数据优先级和带宽使用水平。为检测卡车作为目标物体而选中的单元 ˆ S(n)_i×j 被示意于图4中。
在接收到选定的单元后,服务器使用占位符重建图像,用插值法改善视觉质量,如图5所示。黑色占位符表示缺失的单元,而平滑过渡则突出显示了插值方法的有效性。
在此过程中,DQN和掩码不断更新,因为新的帧被加入到处理队列中;因此,系统允许不断更新哪些图像部分变得更加重要。反馈循环确保UAV能够动态地适应
测试
本系统的一个关键优势是能够以最小的数据传输量可靠地检测和跟踪物体。在这方面,我们测试了系统在不同选择性区域传输率下的物体检测性能,选择性区域传输率范围从总网格单元数的5%到85%,并根据最高概率得分进行选择。每个传输率下的物体检测性能通过 F1分数 和 精确度 来量化。图6清晰地展示了所提出的基于DQN的策略,尤其是结合插值技术时,即使只传输图像中5%网格单元的选择性区域,仍能保持较强的准确性。表I也提供了相关的详细信息,便于参考。所提出的基于DQN的选择性传输技术是有效的,因为它专注于物体识别最重要的区域,从而在数据量较少的情况下高效地进行检测和跟踪。因此,这种以最小数据量检测和跟踪物体的能力,减少了带宽需求,提升了该方法在带宽受限环境下用于实时无人机监控的有效性和适用性,图7进一步展示了这一点。此外,图8展示了在不同选择性区域传输率下的传输数据大小,进一步证明了所提出方法在有效数据传输中的高效性。实验结果表明,所提出的方法在受限的通信环境中能够提供可靠的性能。与随机选择相比,在50%的传输预算下,物体检测和跟踪的准确性提高了约45%(F1分数)。在极度受限的传输预算(5%)下,准确性提升可高达90%。这种增益的代价是需要从地面服务器到无人机的轻量级反馈通道。处理延迟几乎可以忽略不计,且我们的方法支持30帧每秒(FPS)的实时视频流传输。这些结果表明,所提出的系统在增强空中监控系统的有效性方面具有显著优势。
未来的研究需要将该方法嵌入现代视频编码和压缩技术中,以进一步提升数据传输效率。此外,将该方法扩展到多目标跟踪(MOT)将进一步增强该系统在复杂监控场景中的能力,使其更加适用于多目标处理。
评价:与随机选择传输区域对比,槽点太大了,而且没有和完整传输进行对比。