联邦蒸馏中的分布式知识一致性 | TIST 2024

联邦蒸馏中的分布式知识一致性 | TIST 2024

联邦学习是一种隐私保护的分布式机器学习范式,服务器可以在不汇集客户端私有数据的前提下联合训练机器学习模型。通信约束和系统异构是联邦学习面临的两大严峻挑战。为同时解决上述两个问题,联邦蒸馏技术被提出,它在服务器和客户端之间交换知识(模型输出),既支持异构客户端模型,又降低了通信开销。

本文探究了免代理数据集联邦蒸馏方法中的知识不一致性问题,即:由于客户端模型异构的特性,会导致本地知识置信度之间存在显著差异,服务器学习到的表征因此存在偏差,进而降低整个联邦学习系统的性能。

为解决知识不一致带来的准确率下降问题,本文从一个新角度出发:在异构客户端之间实现分布式的知识一致性。论文提出了一种基于分布式知识一致性的无代理数据联邦蒸馏算法FedDKC,它通过精心设计的知识精化策略,将本地知识差异缩小到可接受的上界,以减轻知识不一致的负面影响。具体来说,论文从峰值概率和香农熵两个角度设计了基于核和基于搜索的两种策略,理论上保证优化后的本地知识可满足近似的置信度分布,并被视为一致的。在服务器端蒸馏时基于一致的本地知识,全局模型可以稳定地朝正确的方向收敛,从而帮助客户端提升模型精度。

论文在多个公开数据集上开展了实验,结果表明,相比基准算法,FedDKC显著提高了模型异构的设置下准确率,并明显提升了收敛速度。




论文链接:https://arxiv.org/abs/2204.07028

相关推荐
格林威9 小时前
常规线扫描镜头有哪些类型?能做什么?
人工智能·深度学习·数码相机·算法·计算机视觉·视觉检测·工业镜头
倔强青铜三10 小时前
苦练Python第63天:零基础玩转TOML配置读写,tomllib模块实战
人工智能·python·面试
递归不收敛10 小时前
吴恩达机器学习课程(PyTorch 适配)学习笔记:3.3 推荐系统全面解析
pytorch·学习·机器学习
B站计算机毕业设计之家11 小时前
智慧交通项目:Python+YOLOv8 实时交通标志系统 深度学习实战(TT100K+PySide6 源码+文档)✅
人工智能·python·深度学习·yolo·计算机视觉·智慧交通·交通标志
高工智能汽车11 小时前
棱镜观察|极氪销量遇阻?千里智驾左手服务吉利、右手对标华为
人工智能·华为
IT森林里的程序猿11 小时前
基于机器学习方法的网球比赛胜负趋势预测
python·机器学习·django
txwtech11 小时前
第6篇 OpenCV RotatedRect如何判断矩形的角度
人工智能·opencv·计算机视觉
正牌强哥11 小时前
Futures_ML——机器学习在期货量化交易中的应用与实践
人工智能·python·机器学习·ai·交易·akshare
倔强青铜三11 小时前
苦练Python第62天:零基础玩转CSV文件读写,csv模块实战
人工智能·python·面试
大模型真好玩11 小时前
低代码Agent开发框架使用指南(二)—Coze平台核心功能概览
人工智能·coze·deepseek