中英文论文标题：
- 英文标题：A Joint Survey in Decentralized Federated Learning and TinyML: A Brief Introduction to Swarm Learning
- 中文标题：去中心化联邦学习与TinyML联合调查：群学习简介
作者信息：
- Evangelia Fragkou
- Dimitrios Katsaros
- 作者单位：Department of Electrical and Computer Engineering, University of Thessaly, 38334 Volos, Greece
- 对应作者邮箱：efragkou@uth.gr (E.F.); dkatsar@inf.uth.gr (D.K.)
论文出处：
- 期刊名称：Future Internet
- 发表时间：2024年
- 卷号：16
- 文章编号：413
- DOI链接：A Joint Survey in Decentralized Federated Learning and TinyML: A Brief Introduction to Swarm Learning
论文主要内容整理：
摘要： 本文探讨了TinyML/DL（Tiny Machine Learning/Deep Learning）这一新兴领域，它允许在低功耗设备上部署机器学习算法来处理自身数据。由于资源限制，这些设备通常只能运行推理任务（静态TinyML），而训练任务则由云等计算效率更高的系统处理。近期文献关注于实现实时在设备上的训练任务（可变形TinyML），同时保持无线连接。随着数据处理向边缘设备转移，去中心化联邦学习（DFL）方案的发展变得合理。在这些设置中，节点共同训练神经网络模型，消除了中央协调器的必要性。确保节点间安全通信对于保护边缘设备训练期间的数据隐私至关重要。群学习（SL）作为一种DFL范式出现，通过点对点交互促进协作学习，利用边缘计算和区块链技术。尽管SL提供了对抗敌意攻击的强大防御，但其计算成本高昂。本调查强调了DFL和TinyML/DL领域的当前文献，探讨了资源匮乏设备在协作中遇到的障碍，并简要概述了向群学习过渡的潜力。
1. 引言： 介绍了在边缘设备上使用机器学习/深度学习算法的日益增长的趋势，这些算法在数据收集的位置进行训练和部署。边缘设备能够本地处理原始数据的重要性，因为它可以实时做出决策，同时保留数据隐私和独立性。然而，硬件资源有限，使得传统深度学习算法的部署变得不可能。文章还讨论了摩尔定律对边缘设备计算能力的影响，以及如何通过优化推理阶段来适应这些设备。
2. 联邦学习方法的兴起： 介绍了联邦学习技术，它是由Google的McMahan在2017年首次提出的，作为一种保护隐私的机器学习范式。联邦学习的基本步骤包括选择、配置和报告。文章还讨论了联邦学习的不同分类，包括数据分割、联邦规模和联邦学习架构。
3. TinyML/DL的前景： TinyML/DL是机器学习的一个子集，专为在资源受限的设备（如MCU、IoT终端设备等）上部署而设计。文章讨论了在这些设备上实现深度学习算法的挑战，以及如何通过预训练模型、模型压缩技术和知识蒸馏等方法来优化推理阶段。
4. 边缘设备的FL和TinyML的当前进展： 讨论了在资源受限的MCU中实现TinyML训练的首次工作，以及如何利用传输学习技术通过预训练模型来实现设备上的微调。
5. 群学习（SL）简介： 群学习是一种去中心化的联邦学习范式，它通过结合边缘计算方法和区块链技术，提倡点对点协作学习。文章讨论了SL在保护数据隐私和节点间安全通信方面的优势，以及其在计算成本方面的挑战。
群学习（SL）是一种去中心化的联邦学习范式，它通过结合边缘计算方法和区块链技术，促进节点间的点对点协作学习。SL的核心优势在于它能够在保护数据隐私和确保节点间安全通信的同时，允许多个设备共同训练模型，而无需中央协调器。这种方法对于去中心化网络尤其有吸引力，因为它提供了强大的数据安全性和通信安全性保证。
在SL中，每个参与的节点都维护一个本地模型，并通过区块链技术与其他节点共享模型更新，而不是共享原始数据。这种方法不仅保护了数据的隐私，还允许网络中的每个节点验证其他节点的贡献，从而增强了整个网络的信任和透明度。
文章中提到了一些关键的SL实践和挑战：
-
TORR协议： Ma等人提出了一种名为TORR的轻量级区块链协议，旨在减少由于区块链功能而导致的延迟。TORR通过将用户分类为可靠或不可靠来减少延迟，其中可靠的用户因为活跃并与其他节点互动而被赋予更高的概率参与协作学习。这种方法减少了"落后"节点对训练过程的影响。
-
拜占庭容错： 在去中心化网络中，恶意节点可能试图通过拜占庭攻击来操纵或破坏可交换信息。Ghanem等人提出了一个包含训练器和验证器节点的去中心化框架，以在信任层面上处理拜占庭故障。验证器节点接收来自训练器的更新，合并梯度，然后计算验证分数。分数越高，验证器节点越可信。
-
Blade-FL机制： Li等人基于工作量证明（PoW）共识协议提出了Blade-FL机制，以实现无需中央聚合器的安全去中心化联邦学习。他们证明了全局学习模型的损失函数界限是凸的，并且取决于总训练轮数。
-
隐私保护： Wang等人通过提供基于区块链的机制和差分隐私保证（添加拉普拉斯噪声）来处理传统联邦学习中的隐私问题。他们使用权益证明机制或从另一个客户端（矿工）接收区块来达成共识。
尽管SL提供了强大的安全性保证，但它是一种计算成本高昂的方法，这使得其实时实施变得不可行。区块链技术在DFL中的应用会导致高延迟，从而需要更长时间达成共识，与集中式联邦学习相比。此外，机器学习模型需要足够的存储容量，而区块链节点通常不具备这种能力。因此，大多数工作将模型存储在去中心化的方式中（例如IPFS），并将哈希信息保存到区块链中，但这需要额外的努力来保证保存模型的可靠性。
总的来说，第5部分强调了群学习作为一种新兴的去中心化联邦学习范式的潜力和挑战，特别是在保护数据隐私和安全通信方面，同时也指出了其在计算和存储资源需求方面的挑战。
6. 探讨Tiny去中心化联邦学习环境中的挑战： 讨论了在去中心化联邦学习环境中实现TinyML算法的挑战，包括通信可靠性、数据集分类问题、灾难性遗忘、异质性、基准测试、攻击、公平性和不断变化的拓扑结构。
7. 结论： 总结了在IoT网络的边缘设备上实现实时数据处理的必要性，以及使用联邦学习技术在低功耗无线连接设备上部署可变形TinyML/DL算法的可能性。文章强调了结合这些领域的进一步发展为有效、安全和节能算法铺平了道路，同时也指出了实现这些技术潜力所面临的挑战。