论文标题：
- 英文：AoI-aware Retained Message Policy in MQTT-based IoT Networks
- 中文：面向MQTT基础物联网网络的Age-of-Information感知的保留消息策略
作者信息：
- Youngjun Kim 和 Yeunwoong Kyung
- 工作单位：Youngjun Kim 在韩国庆南大学计算机科学与工程学院，Yeunwoong Kyung 在韩国公州国立大学信息与通信工程系
- 电子邮件：Youngjun Kim (youngjun@kyungnam.ac.kr)，Yeunwoong Kyung (ywkyung@kongju.ac.kr)
论文出处：
- 将被发表在 IEEE SENSORS JOURNAL
主要内容：
摘要： 在MQTT协议中，保留消息允许新订阅者在不等待发布者发送新消息的情况下接收到最新状态更新。然而，由于保留消息的发送不考虑其最初发布的时间，它可能变得过时，从而导致生产效率低下等潜在问题。为了解决这一挑战，本文提出了一种面向MQTT基础物联网网络的Age-of-Information (AoI)感知的保留消息策略（ARMY）。在ARMY中，代理在将保留消息发送给新订阅者之前会评估其新鲜度（AoI）。如果保留消息已过时，代理会请求发布者更新消息后再转发给订阅者，从而减少AoI。这种方法特别适用于实时数据至关重要的场景，如工业控制系统。然而，这一过程涉及额外的信令开销，因此需要一种平衡AoI和信令开销的最优策略。本文通过马尔可夫决策过程（MDP）模型制定策略，并使用Q-learning（QL）确定最优策略。模拟结果表明，ARMY在不增加显著额外信令成本的情况下，与各种设置下的比较方案相比，显著提高了平均奖励和AoI满足率。
引言： 随着物联网（IoT）服务的快速发展，出现了许多应用和模型，利用了消息队列遥测传输（MQTT）协议的轻量级和节能特性。MQTT因其效率和多功能性而成为物联网环境中的实际标准。它广泛应用于智能制造、家庭自动化和社交网络服务等多种应用。主要的商业云平台，如亚马逊网络服务（AWS）和谷歌云平台（GCP），支持MQTT进行物联网管理。
相关工作： MQTT标准没有包括支持时效性或减少发布者到订阅者延迟的协议。尽管MQTT标准定义了三个服务质量（QoS）级别，但它旨在提高消息传递的可靠性。为了解决这一挑战，已有几项工作旨在减少MQTT基础物联网网络中的发布者到订阅者延迟。例如，Bouallegue等人提出了一种分布式代理中间件，Fontes等人和Kim等人引入了MQTT协议的一组扩展，分别旨在支持实时服务和紧急事件。Banno等人提供了一种基于P4的加速方法，使网络交换机执行代理的部分功能。Palmese等人引入了一个QoS控制器，评估端到端延迟以满足服务要求。然而，现有文献主要关注已发布数据的延迟，并未考虑数据的新鲜度（即AoI）。
系统模型： 本文的系统模型如图1所示。在我们的模型中，当消息（例如msg1）在发布者处生成后，发布者将带有时间戳的消息发布给代理，然后代理将消息存储为保留消息。如果存在订阅者，则代理将消息发布给订阅者。
MQTT协议的功能扩展： 在ARMY中，需要一种新的控制消息，以便代理请求发布者发送新消息。为此，需要对MQTT标准进行功能扩展。
问题公式化： 在本节中，我们根据图2中的时序图制定MDP模型。
基于QL的算法： 从代理的角度来看，由于状态集U和N取决于发布者和订阅者，因此无法轻易获得转换概率P[s′|s, a]。因此，本文采用了基于QL的算法，代理（即代理）通过经验学习并改进策略，以确定最优策略。
性能分析结果： 为了性能评估，我们使用基于Python的事件驱动模拟器进行了广泛的模拟。每个模拟包括100万个决策周期，并计算平均奖励。默认参数总结在表I中。提出的方案（即ARMY）与以下三种方案进行了比较：(1) CONV，传统的MQTT协议，代理在新订阅者开始订阅时将保留消息交付给任何新订阅者，(2) DELAY，代理在等待新状态更新到达代理时，最多延迟Dm次将保留消息交付给订阅者，以及(3) FRESH，代理请求发布者是否有尚未交付给代理的新状态更新。
结论： 本文提出了一种面向MQTT基础物联网网络的AoI感知的保留消息策略（ARMY），代理根据AoI决定是交付还是延迟向新订阅者发送保留消息。此外，如果保留消息已过时，代理会请求发布者更新消息，从而减少AoI。这种策略特别适用于数据及时性至关重要的场景，如工业控制系统。然而，这一过程涉及额外的信令开销，因此需要一种平衡AoI和信令开销的最优策略。为了平衡AoI和信令开销，我们制定了一个MDP模型，并使用Q-learning确定了最优策略。模拟结果表明，ARMY在平均奖励和AoI满足率方面的表现优于比较方案。在未来的工作中，我们将扩展这项研究，考虑各种物联网部署和MQTT的使用，例如多个代理的影响，以实现可扩展操作和物理部署分析的广泛覆盖。