联邦学习+梯度+梯度剪枝

联邦学习需要参与者在每一次的本地训练后,上传所更新的模型参数并与其他参与者共享,而参数更新中仍有可能包含所有者的敏感信息

解决方案:

加密方法(安全多方计算、同态加密)通过将明文编码为密文的方式,只允许特定人员解码,为数据隐私保护提供了有效手段,但这往往需要极大的计算开销,较难应用于实际的联邦学习场景中

数据扰动(差分隐私)通过将明文编码为密文的方式,只允许特定人员解码,为数据隐私保护提供了有效手段,但这往往需要极大的计算开销,较难应用于实际的联邦学习场景中

如果选择梯度剪枝的话是需要考虑选择哪一部分剪枝的梯度参与训练

(将梯度剪枝与加密的防御体系结合)

差分隐私与联邦学习 梯度剪枝

一般与轻量级进行结合吗?

基于梯度选择的轻量化差分隐私保护联邦学习

基于 Fisher 信息矩阵的 Dropout 机制,FisherDropout(差分隐私在什么地方使用呢?)

用差分隐私去解决------>轻量化、易部署

梯度剪枝方法:Federated Dropout(FedDropout)
采用完全客观的准确度与损失函数值作为评估标准(这个评估标准是怎么制定的呢?是否有理论依据?)
基于 Fisher 信息排序的 dropout 算法,通过优化选择梯度的一部分上传;由于 dropout 机制有利于减少梯度维度,应用于差分隐私保护方法中可以大大节约隐私预算
在差分隐私中,隐私预算是平衡安全性与可用性的关键参数 。决 定了差分隐私方法所添加噪声方差的大小。较小的值会使安全性变高,但也会令数据的可用性变得更差。
(差分隐私中主要的问题还是怎么处理隐私预算的值)
而在联邦学习中,用户通常需要在本地完成迭代以及噪声添加工作,这可能导致数据安全性与可用性的平衡更加困难。

当取值为 8 时,基于差分隐私保护的联邦学习在训练中可能需要额外使用 100 倍左右的数据量,才可达到与不含差分隐私的联邦学习一致的模型准确率。而在集中式学习中,这往往只需要付出大约 10 倍的训练量。

轻量化联邦学习的方式:剪枝、量化、蒸馏

满足差分隐私的联邦学习:与经典的联邦学习不同的地方为增加了客户端随机扰动参数
梯度剪枝:
客户端首先采用FisherDropout 算法,以神经元为单位对全局模型进行裁剪保留其中的一部分作为子模型。该裁剪过程一般被称为"dropout"。值得注意的是,每个客户端都需要根据自己的数据分布、通信状况与计算能力来独立地确定各自的裁剪方式与dropout 率,这将导致每个客户端最终所生成的子模型可能是异构的。

使用差分隐私进行数据扰动:
采用了差分隐私保护方法对待上传的数据进行扰动。被扰动后的数据将带有随机性,使得服务器很难根据这些参数反推客户端的原始数据。

由于每个客户端所上传的子模型是异构的,这也要求客户端在上传模型时还需要额外发送每个参数的位置信息。
服务器可以根据每位用户上一轮的位置信息发送新的子模型参数,而不用发送全局模型;或者考虑到收敛速度,可以每隔固定的迭代轮次便发送一次全局模型,以便让每个客户端确定新的子模型的位置。
一般是讲述梯度剪枝的原理与进行隐私性证明

相关推荐
caijingshiye36 分钟前
BitMart 启动中文品牌“币市”:引领加密资产本地化发展新篇章
人工智能·区块链
视觉语言导航1 小时前
中科院自动化所机器人视觉中的多模态融合与视觉语言模型综述
人工智能·深度学习·机器人·具身智能
SickeyLee3 小时前
产品经理的成长路径与目标总结
大数据·人工智能
叫我:松哥3 小时前
python案例:基于python 神经网络cnn和LDA主题分析的旅游景点满意度分析
人工智能·python·神经网络·数据挖掘·数据分析·cnn·课程设计
2202_756749694 小时前
01 基于sklearn的机械学习-机械学习的分类、sklearn的安装、sklearn数据集及数据集的划分、特征工程(特征提取与无量纲化、特征降维)
人工智能·python·机器学习·分类·sklearn
SoFlu软件机器人4 小时前
飞算科技:以原创之力,开启Java开发新纪元与行业数智变革
人工智能·科技
沫儿笙4 小时前
OTC焊接机器人节能技巧
大数据·人工智能·机器人
西柚小萌新4 小时前
【人工智能agent】--服务器部署PaddleX 的 印章文本识别模型
人工智能
金融小师妹4 小时前
AI量化模型解析黄金3300关口博弈:市场聚焦“非农数据”的GRU-RNN混合架构推演
大数据·人工智能·算法
NewCarRen4 小时前
数据驱动的自动驾驶虚拟测试方法
人工智能·机器学习·自动驾驶