联邦学习

联邦学习开山之作Communication-Efficient Learning of Deep Networks from Decentralized Data越来越多的手机和平板电脑成为许多人的主要计算设备。这些设备上强大的传感器（包括摄像头、麦克风和GPS），加上它们经常被携带的事实，意味着它们可以访问前所未有的大量数据，其中大部分本质上是私人的。根据这些数据学习的模型持有承诺通过支持更智能的应用程序来大大提高可用性，但数据的敏感性意味着将其存储在集中位置存在风险和责任。

隐语隐私计算实训营「联邦学习」第 3 课：隐语架构概览【隐私计算实训营】是蚂蚁集团隐语开源社区出品的线上课程，自实训营上线以来，获得行业内外广泛关注，吸引上千余名开发者报名参与。本次暑期夏令营课程中，除了最新上线的「联邦学习系列」，还包含了「隐私保护数据分析」和「隐私保护机器学习」，主题，小伙伴们可以根据需求自由选择报名期待和大家共同探索隐私计算的前沿技术！隐私计算实训营「机器学习」：隐私计算实训营「机器学习」隐私计算实训营「联邦学习」：隐私计算实训营「联邦学习」隐私计算实训营「数据分析」：隐私计算实训营「数据分析」

FATE Flow 源码解析 - 日志输出机制在之前的文章中介绍了 FATE 的作业处理流程，在实际的使用过程中，为了查找执行中的异常，需要借助运行生成的日志，但是 FATE-Flow 包含的流程比较复杂，对应的日志也很多，而且分散在不同的文件中，在这篇文章中就对 FATE-Flow 的日志机制进行梳理，帮助大家了解 Python 服务中实现一个更加灵活的日志机制

华为云开发者联盟

详解联邦学习中的异构模型集成与协同训练技术本文分享自华为云社区《联邦学习中的异构模型集成与协同训练技术详解》，作者：Y-StarryDreamer。

我就是菜鸡1229

【论文阅读：Towards Efficient Data Valuation Based on the Shapley Value】处理数据估值问题的一种自然方法是采用博弈论的观点，其中将每个数据贡献者建模为合作博弈中的玩家，并通过效用函数来表征来自任何贡献者子集的数据的有用性。 Shapley值（SV）是合作博弈理论中的经典方法，用于分配所有玩家联盟生成的总收益，并已应用于各个领域的问题。 SV定义了一个独特的利润分配方案，满足一系列具有吸引力的现实世界解释的属性，如公平性、合理性和去中心化性。精确计算SV所需的效用函数评估次数随着参与者数量呈指数增长。

论文阅读-Federated-Unlearning-With-Momentum-Degradation论文阅读-Federated Unlearning With Momentum Degradation

我就是菜鸡1229

【论文阅读——SplitFed: When Federated Learning Meets Split Learning】联邦学习（FL）和分割学习（SL）是两种流行的分布式机器学习方法。两者都采用了模型对数据的场景；客户端在不共享原始数据的情况下训练和测试机器学习模型。由于机器学习模型的架构在客户端和服务器之间分割，SL提供了比FL更好的模型隐私性。此外，分割模型使SL成为资源受限环境的更好选择。然而，由于在多个客户端之间基于中继进行训练，SL的速度比FL慢。

我就是菜鸡1229

【论文阅读——Profit Allocation for Federated Learning】由于更为严格的数据管理法规，如《通用数据保护条例》（GDPR），传统的机器学习服务生产模式正在转向联邦学习这一范式。联邦学习允许多个数据提供者在其本地保留数据的同时，协作训练一个共享模型。推动联邦学习实际应用的关键在于如何将联合模型产生的利润公平地分配给每个数据提供者。为了实现公平的利润分配，衡量每个数据提供者对联合模型贡献的度量标准至关重要。Shapley值是合作博弈论中的一项经典概念，用于分配所有玩家联盟所创造的整体盈余，并已被应用于机器学习服务中的数据估值。然而，先前基于Shapley值的数据估值方

联邦学习目前面临的挑战以及解决方案联邦学习是一种新兴的人工智能基础技术，它在保障大数据交换时的信息安全、保护终端数据和个人数据隐私、保证合法合规的前提下，在多参与方或多计算结点之间开展高效率的机器学习。然而，联邦学习也面临着一些挑战和问题。

联邦学习是怎么实现的（例子）联邦学习的实现涉及多个设备或节点协同训练一个共享的机器学习模型，同时保持各自数据的隐私。在医疗领域中，不同医疗机构拥有各自的患者数据，但由于隐私保护法规，这些数据不能直接共享。联邦学习允许这些机构合作创建一个更准确的预测模型，而无需交换敏感数据。

Federated Unlearning for On-Device RecommendationWSDM 2023 CCF-BFederated Unlearning for On-Device Recommendation

《PFL》论文阅读笔记随着联邦学习的发展，简单的聚合算法已经不在有效。但复杂的聚合算法使得联邦学习训练时间出现新的瓶颈。本文提出了并行联邦学习（parallel federated learning，PFL），通过调换中心节点聚合和广播的顺序。本文算法的优点：在全局聚合计算时解锁了边缘节点，在边缘节点本地计算时解锁了中心节点，并且在计算过程中具有灵活的伸缩性。本文主要贡献：

TechBeat人工智能社区

NeurIPS 2023 | FedFed：特征蒸馏应对联邦学习中的数据异构在本文中，我们提出了一种新的即插即用的联邦学习模块，FedFed，其能够以特征蒸馏的方式来解决联邦场景下的数据异构问题。FedFed首次探索了对数据中部分特征的提取与分享，大量的实验显示，FedFed能够显著地提升联邦学习在异构数据场景下的性能和收敛速度。

《Secure Analytics-Federated Learning and Secure Aggregation》论文阅读机器学习模型对数据的分析具有很大的优势，很多敏感数据分布在用户各自的终端。若大规模收集用户的敏感数据具有泄露的风险。对于安全分析的一般背景就是认为有n方有敏感数据，并且不愿意分享他们的数据，但可以分享聚合计算后的结果。联邦学习是一种训练数据在多方训练，然后聚合结果得到最终的中心化模型。其中的关键就是多方结果的安全聚合。

《Dataset Condensation with Differentiable Siamese Augmentation》在本文中，我们专注于将大型训练集压缩成显著较小的合成集，这些合成集可以用于从头开始训练深度神经网络，性能下降最小。受最近的训练集合成方法的启发，我们提出了可微暹罗增强方法，它可以有效地利用数据增强来合成更具信息的合成图像，从而在使用增强方法训练网络时获得更好的性能。在多个图像分类基准上的实验表明，该方法在CIFAR10和CIFAR100数据集上取得了较先进水平的显著提高，提高了7%。结果表明，该方法在MNIST、FashionMNIST、SVHN、CIFAR10上的相对性能分别为99.6%、94.9%、8

联邦学习系统攻击与防御技术联邦学习作为一种使用分布式训练数据集构建机器学习模型的新兴技术，可有效解决不同数据用户之间因联合建模而导致的本地数据隐私泄露问题，从而被广泛应用于多个领域并得到迅速发展。然而，现有的联邦学习系统已被证实在数据收集阶段、训练阶段和推理阶段都存在潜在威胁，危及数据的隐私性和系统的鲁棒性。本文从安全威胁和隐私威胁两类潜在威胁入手，围绕机密性、完整性和可用性（CIA 三元组）给出了联邦学习场景中安全属性的详细定义，并对联邦学习中各类攻击方式和防御手段进行了系统全面综述。

深入理解联邦学习——联邦学习与现有理论的区别与联系分类目录：《深入理解联邦学习》总目录作为一种全新的技术，联邦学习在借鉴一些成熟技术的同时也具备了一定的独创性。下面我们就从多个角度来阐释联邦学习和其他相关概念之间的关系。

深入理解联邦学习——联邦学习的价值分类目录：《深入理解联邦学习》总目录毫无疑问，如今我们正经历互联网第四次信息革命，坐拥海量的信息与数据。这些数据如果能够用AI的方式进行解读，将会为人类日常生活带来颠覆性变革。联邦学习作为未来AI发展的底层技术，它依靠安全可信的数据保护措施下连接数据孤岛的模式，将不断推动全球AI技术的创新与飞跃。随着联邦学习在更大范围和更多行业场景的渗透及应用，它在更高层面上对各类人群、组织、行业和社会都将产生巨大影响，联邦学习的公共价值主要体现在以下几个方面：