大家读完觉得有帮助记得关注和点赞！！！
抽象
远程识别 （Remote ID） 广播功能允许无人机 （UAV） 交换消息，这是无人机间通信的关键技术。尽管此功能增强了作可见性，但基于远程 ID 的通信中的低延迟对于确保动态环境中多无人机作的效率和及时性至关重要。为了应对这一挑战，我们首先通过考虑 BLE 4 和 Wi-Fi 协议中的数据包接收和冲突，为远程 ID 通信建立延迟模型。基于这些模型，我们制定了一个优化问题，通过自适应协议选择来最小化长期通信延迟。 由于延迟性能随无人机密度的变化而变化，我们提出了一种基于多智能体深度 Q 网络方法的自适应 BLE/Wi-Fi 切换算法。 实验结果表明，在动态密度场景中，与静态 BLE 4 和 Wi-Fi 模式相比，我们的策略分别实现了 32.1% 和 37.7% 的延迟降低。
索引术语：
无人机 （UAV） 网络、远程识别 （Remote ID）、低功耗蓝牙 （BLE）、无线保真 （Wi-Fi）、深度强化学习 （DRL）。
我介绍
\lettrine
行 = 2\] 无人机 （UAV） 的快速发展促使政府和机构为无人机作制定安全法规\[[1](https://arxiv.org/html/2506.07715v1#bib.bib1 "1")\],\[[2](https://arxiv.org/html/2506.07715v1#bib.bib2 "2")\],\[[3](https://arxiv.org/html/2506.07715v1#bib.bib3 "3")\],\[[4](https://arxiv.org/html/2506.07715v1#bib.bib4 "4")\].为了满足这一需求，美国联邦航空管理局 （FAA） 探索了各种实时无人机跟踪机制，重点是传输身份和状态信息。作为这些工作的一部分，FAA 引入了远程识别 （Remote ID） 技术，该技术使无人机能够通过蜂窝或射频 （RF） 通信链路进行跟踪\[[5](https://arxiv.org/html/2506.07715v1#bib.bib5 "5")\]. 然而，由于许多地区蜂窝基础设施的可靠性有限且存在相关的成本限制，FAA 选择低功耗通信协议作为远程 ID 的标准。具体来说，蓝牙低功耗 （BLE） 和无线保真度 （Wi-Fi） 已被指定为远程 ID 合规性的主要技术\[[6](https://arxiv.org/html/2506.07715v1#bib.bib6 "6")\].
Remote ID 系统利用无人机的机载传感器，如全球导航卫星系统 （GNSS） 和惯性测量单元，收集有关纬度、经度、高度、速度和系统状态的实时数据。然后，数据通过 BLE 或 Wi-Fi 通信协议以标准化消息数据包的形式定期广播。目前，Remote ID 已通过美国和欧盟等国家的立法强制部署，建立了对作无人机的可追溯监督系统\[[7](https://arxiv.org/html/2506.07715v1#bib.bib7 "7")\]. 值得注意的是，Remote ID 不仅是合规性监控的监管工具，还是高级无人机应用的技术推动器。Remote ID 的广播机制通过实时无人机间消息交换，本质上支持去中心化的空域感知。通过接收附近无人机广播的 Remote ID 消息，无人机可以自主构建去中心化的 UAV 到 UAV 感知网络。此功能为多无人机协作任务提供基础通信支持，而无需依赖额外的基础设施。 例如，在\[[8](https://arxiv.org/html/2506.07715v1#bib.bib8 "8")\]，在无人机之间广播任务状态和位置数据，可以在多无人机物体交付和数据收集作期间实现高效的任务协调和碰撞避免。\[[9](https://arxiv.org/html/2506.07715v1#bib.bib9 "9")\]利用无人机之间的实时位置交换来实施分布式冲突警告系统。这些实施突出了 Remote ID 作为高级应用程序的标准化通信层的潜力。
然而，由于 UAV 的高度移动性，低延迟对于冲突检测、碰撞避免和任务协调等应用至关重要\[[10](https://arxiv.org/html/2506.07715v1#bib.bib10 "10")\],\[[11](https://arxiv.org/html/2506.07715v1#bib.bib11 "11")\].过长的延迟会导致决策延迟、碰撞风险增加以及协作任务的性能下降。因此，分析和优化通信方法的延迟对于确保无人机系统的可靠和高效运行至关重要。最近的研究探讨了相关通信协议中的延迟优化。例如\[[12](https://arxiv.org/html/2506.07715v1#bib.bib12 "12")\]在 BLE 4 中对邻居发现过程进行建模，考虑信号冲突、发现延迟和能耗等因素。然而，它忽视了无人机节点在空中通信场景中表现出的动态移动性的关键方面。\[[13](https://arxiv.org/html/2506.07715v1#bib.bib13 "13")\]引入了 BLE 跳频算法来缓解 Wi-Fi 信号冲突，但它主要侧重于解决数据包冲突，而不是分析或优化 BLE 和 Wi-Fi 的广播协议。\[[14](https://arxiv.org/html/2506.07715v1#bib.bib14 "14")\]评估了多无人机通信中的 Wi-Fi 性能，重点关注丢包，但缺乏通信协议的理论模型，仅依赖于实验验证。\[[15](https://arxiv.org/html/2506.07715v1#bib.bib15 "15")\]提出了一种混合 BLE/LTE/Wi-Fi/LoRa 交换方案，用于无人机网络中的能量和延迟优化，但它没有提供协议机制的详细模型，并且忽略了干扰和传输频率对延迟的影响。
基于上述研究的见解，我们研究了基于 Remote ID 的无人机网络中的通信延迟优化问题，具体来说，我们分析了 BLE 4 和 Wi-Fi 两种 Remote ID 通信协议的延迟特性，考虑了详细的传输机制和干扰效应。目标是最大限度地减少 UAV 远程 ID 的长期系统平均消息延迟。为此，我们设计了基于多智能体深度 Q 网络的 BLE/Wi-Fi 交换算法 （MADQN-BWSA），以动态优化无人机的协议选择和配置。仿真结果表明，所提算法在动态无人机网络中的时延性能优于基线方法。
图 1：基于远程 ID 的无人机通信网络。
### **第二系统模型和问题表述**
如图 1 所示。[1，GNSS](https://arxiv.org/html/2506.07715v1#S1.F1 "1，GNSS") 作为 Remote ID 的数据源，为无人机提供精确的状态信息。无人机利用远程 ID 向其他人广播消息，采用 BLE 4 或 Wi-Fi 作为底层通信协议。为了优化该系统的通信性能，本节分析了 Remote ID 的平均延迟并制定优化问题。
#### **II-A 型*数据包接收模型***
我们使用离散时隙模型评估 BLE 4 和 Wi-Fi 协议的数据包接收延迟，其中时间段被划分为长度为Δ.
##### **II-A1 号BLE 4 系列**
如图 1 所示。[2](https://arxiv.org/html/2506.07715v1#S2.F2.fig1 "2")（a） 中，BLE 4 广播过程涉及发射器 （TX） 生成一个广播事件 （Adv_Event），该事件由三个相同的协议数据单元 （PDU） 数据包组成，在通道 37、38 和 39 上按顺序传输。每个 PDU 数据包都携带实际的远程 ID 数据，持续时间为一个P，具有P我数据包之间。连续广播事件由一个我，其中包括伪随机延迟RD.接收器 （RX） 定期扫描相同的通道，每个扫描窗口持续SW并重复每个S我.
（一）BLE 4作模式。
（二）Wi-Fi作模式。
图 2：BLE 4 和 Wi-Fi 通信协议的作模式。
为了确定广播事件和扫描窗口何时对齐，中国余数定理 （CRT）\[[16](https://arxiv.org/html/2506.07715v1#bib.bib16 "16")\]用于求解全等方程并识别匹配的时隙。具体来说， CRT 为两个周期性事件（例如相应通道上的 BLE 4 传输和扫描）在公共周期内对齐的情况提供了解决方案。CRT 可以表示为
哪里t1和t2是两个周期性事件的开始时间，𝒮1和𝒮2是事件期间，而\[𝒮1−1\]𝒮2是 的模乘逆元𝒮1modeulo𝒮2.
我们定义ψBLE 4 系列作为每个 GNSS 更新周期传输的远程 ID 消息数，表示消息传输速率。假设初始 GNSS 更新时间为t0 (t0\>0）、三个 BLE 4 广播频道的成功匹配时隙集c∈{37,38,39}在单个 GNSS 更新周期内为
这里一个我=T全球导航卫星系统ψBLE 4 系列哪里T全球导航卫星系统是 GNSS 更新周期。要应用 CRT，一个我必须相对素数为3S我.因此一个我近似为一个\^我，则为满足此约束的最接近整数。 所有三个频道的完整匹配时隙集是
最后，每个成功接收的 PDU 数据包的接收延迟为
##### **II-A2 号Wi-Fi 无线局域网**
Wi-Fi 广播机制如图 1 所示。[2](https://arxiv.org/html/2506.07715v1#S2.F2.fig1 "2")（b） 的。UAV 选择一个固定频道进行广播，在本例中指定为频道 6。携带 Remote ID 数据的 Beacon 数据包的持续时间为BD，并且连续信标之间的间隔为B我=T全球导航卫星系统ψWi-Fi 无线局域网哪里ψWi-Fi 无线局域网是 Wi-Fi 的消息传输速率。
RX 采用被动扫描，在通道 1、6 和 11 上侦听持续时间为TS在切换到下一个频道之前捕获信标数据包。在通道之间切换的时间表示为CT.使用 （[1](https://arxiv.org/html/2506.07715v1#S2.E1 "1")） 表示 channel 上 beacon 数据包的匹配时隙集c (c∈{1,6,11})是
哪里B\^我是B我相对来说是素数3(TS+CT).时隙值的范围我c用于通道c定义为
因此，信道上 Wi-Fi 信标数据包的接收延迟c是
#### **II-B 型*数据包冲突模型***
##### **II-B1BLE 4 系列**
让𝒰={u1,u2,...,uM}表示M无人机。UAV 来自的 UAV 集u我∈𝒰可以通过 BLE 4 接收远程 ID 消息定义为
哪里我ujBLE 4 系列表示是否为 UAVuj使用 BLE 4、PujBLE 4，tx是其发射功率，并且PL 系列uj,u我是 UAV 之间的路径损耗uj和u我.ψBLE 4 系列uj表示 UAV 的 Remote ID 消息传输速率uj使用 BLE 4 时。
无人机u我成功接收到 UAV 发送的单个 PDU 数据包uj∈ℛBLE 4 系列u我无自身技术干扰 （STI） 是
##### **II-B2 号Wi-Fi 无线局域网**
为了定义 Wi-Fi 的 STI，我们使用c区分u我使用不同的 Wi-Fi 信道发送信标，其中uj∈ℛWi-Fi 无线局域网u我,c和c∈{1,6,11}.套装ℛWi-Fi 无线局域网u我,c类似于ℛBLE 4 系列u我，表示u我在信道上传输 Wi-Fi 信标c.无人机u我成功接收无人机发送的 Wi-Fi 信标数据包uj∈ℛWi-Fi 无线局域网u我,c在 Wi-Fi 干扰下是
#### **II-C 型*平均传输延迟模型***
在本节中，我们对 BLE 4 和 Wi-Fi 协议的平均传输延迟进行建模。
##### **II-C1 号BLE 4 系列**
无人机uj∈𝒰，能够成功接收通过 BLE 4 传输的远程 ID 消息的相邻 UAV 集定义为
什么时候uj通过 BLE 4 进行广播，这是在 GNSS 更新周期内成功接收的 PDU 数据包集，从t0表示为𝒩BLE 系列4uj(t0)在 （[3](https://arxiv.org/html/2506.07715v1#S2.E3 "3")） 中。让δuj,nBLE 系列4代表n-所有成功接收的数据包中最早的数据包接收时间，即δuj,nBLE 4 系列=分钟{𝒩BLE 4 系列uj(t0)}n.考虑到数据包接收延迟和 BLE 4 数据包的无冲突概率，BLE 4 传输延迟从uj∈𝒰到相邻的无人机u我∈𝒮BLE 系列4uj在t0可以表示为
哪里\|⋅\|表示相应集的基数。
考虑到数据包传输时间的随机性，发送的远程 ID 消息的平均延迟uj自u我∈𝒮BLE 4 系列uj是
##### **II-C2 型Wi-Fi 无线局域网**
类似于𝒮BLE 4 系列uj,𝒮Wi-Fi 无线局域网uj表示可以成功接收通过 Wi-Fi 传输的远程 ID 消息的相邻无人机集。使用 （[5](https://arxiv.org/html/2506.07715v1#S2.E5 "5")） 表示匹配的时隙集，表示为ℳWi-Fi 无线局域网c,uj(t0)，其中通过uj已成功接收。让δuj,nWi-Fi 无线局域网代表n- 第 1 小的时隙ℳWi-Fi 无线局域网c,uj(t0). 通过将数据包接收延迟与数据包冲突概率模型相结合，得到来自无人机的 Wi-Fi 传输延迟uj在t0自无人机u我∈𝒮Wi-Fi 无线局域网uj是
考虑到数据包传输时间的随机性，平均 Remote ID 消息延迟为u我∈𝒮Wi-Fi 无线局域网uj发件人uj使用 Wi-Fi 是
#### **II-D 型*问题表述***
目标是通过联合优化传输协议选择来最小化每个 UAV 的长期平均消息传输延迟我(t)={我ujε(t)∣∀uj∈𝒰,ε∈ℰ}和消息传输速率Ψ(t)={ψεuj(t)∣∀uj∈𝒰,ε∈ℰ}哪里ℰ={BLE 4，Wi-Fi}。优化问题表述为
其中T麦克斯表示总观察持续时间，以及𝒯表示所有时间点的集合，Suj={𝒮BLE 4 系列uj∪𝒮Wi-Fi 无线局域网uj}.约束 （[16](https://arxiv.org/html/2506.07715v1#S2.E16 "16")a） 确保每个无人机uj从集合中只选择一个通信协议ℰ在t.约束 （[16](https://arxiv.org/html/2506.07715v1#S2.E16 "16")b） 限制最大消息传输速率ψε,麦克斯适用于每种通信技术ε.约束 （[16](https://arxiv.org/html/2506.07715v1#S2.E16 "16")c） 对通信协议选择强制执行二进制决策。约束 （[16](https://arxiv.org/html/2506.07715v1#S2.E16 "16")d） 保证消息传输速率ψεuj(t)为正整数。
P0 涉及动态环境中无人机的系统范围决策，表述为混合整数非线性规划问题。传统的优化方法难以处理其组合复杂性和实时要求。
### **第三算法设计**
为了解决 P0 问题，将其转换为马尔可夫决策过程 （MDP），然后设计基于 DRL 的 MADQN-BWSA。
#### **III-A 系列*MDP 设计***
##### **III-A1 号每个 UAV 的状态**
时间t、每个无人机uj∈𝒰获取本地观测值ouj(t)来自环境，其中包括来自附近无人机的信息。详细地
哪里我ujs(t)={我ujε(t)∣ε∈ℰ}是 UAV 选择的通信协议uj在t.𝚿ujs(t)={ψεuj(t)∣ε∈ℰ}表示所选协议对应的消息传输速率。𝐃ℛuj(t)={duk,uj(t)∣uk∈⋃ε∈ℰℛεuj}是 UAV 之间的距离uj和无人机uk.我ℛuj(t)={我ukε(t)∣ε∈ℰ,uk∈⋃ε∈ℰℛεuj}是 UAV 使用的协议集uk向 UAV 发送消息uj.𝚿ℛuj(t)={ψεuk(t)∣ε∈ℰ,uk∈⋃ε∈ℰℛεuj}表示传输无人机的消息传输速率uk.
##### **III-A2 号每个 UAV 的作**
根据观察oj(t)、无人机的动作uj∈𝒰在t定义为
哪里我uj一个(t)={我ujε,一个(t)∣ε∈ℰ}表示选定的通信协议。𝚿uj一个(t)={ψεuj,一个(t)∣ε∈ℰ}表示对应的消息传输速率。
##### **III-A3 号每架无人机的奖励功能**
奖励函数旨在通过同时考虑本地传输性能和全局延迟来优化远程 ID 消息传输延迟，其定义为
哪里ruj当地(t)=−1\|Suj\|∑u我∈Sujd¯uj,u我(t)激励无人机uj为了最大限度地减少对相邻无人机的消息延迟，提高本地通信效率，ruj全球(t)=1\|Suj\|∑u我∈Suj(d¯全球(t)−d¯uj,u我(t))防止无人机因有限的本地观测而做出次优决策，确保与全球传输平均值保持一致。这里，全局平均传输延迟d¯全球(t)=1M∑uj∈𝒰1\|Suj\|∑u我∈Sujd¯uj,u我(t).α和β是平衡本地和全球延迟影响的加权因子。
#### **III-B 型*训练算法***
在通信受限且全球信息不完整的动态环境中，无人机必须依靠本地观测进行分布式决策。为了解决这个问题，我们采用了 MADQN 算法，该算法支持分布式训练和执行。
MADQN 中的每个代理都维护两个 Q 网络：主 Q 网络Qθj(ouj,一个uj)和目标 Q 网络Qθj′(ouj,一个uj)哪里ouj代表无人机的局部观测uj和一个uj表示 执行 者 执行的作uj.目标 Q 网络通过定期更新其参数来稳定训练θj′匹配主网络的θj.
MADQN-BWSA 通过跨多个事件的分布式决策来训练无人机。在每个时间步，每个无人机都使用 epsilon-greedy 策略选择作，从而平衡探索和利用。无人机通过应用时间差分学习、最小化损失函数以及通过软更新定期更新目标 Q 网络来更新其 Q 网络。体验存储在重播缓冲区中，并在积累足够的数据后更新 Q-network 参数。此过程一直持续到达到最大集数，从而允许无人机根据本地观测优化传输延迟。算法 [1](https://arxiv.org/html/2506.07715v1#alg1 "1") 中总结了 MADQN-BWSA 过程。
> **算法 1** MADQN-BWSA 系列
> 1: **输入：**本地观察ouj(t)、最大时间步长T麦克斯、最大集数E麦克斯、勘探率e初始化和e最后、批量大小ℬ和 replay bufferD带容量D麦克斯.
> 2: **输出：**每个 UAV 的远程 ID 通信配置。
> 3: **初始化：**Q 网络Qθj、目标 Q 网络Qθj′对于每个 UAV。
> 4: **对于** 剧集 = 1 到 max-episode **do**
> 5: e=麦克斯(e最后,e初始化−插曲(e初始化−e最后)E麦克斯).
> 6: **对于** t = 1 到T麦克斯 **做**
> 7: **为** j=1自M **做**
> 8:观察ouj(t).
> 9: **如果** r\