【论文阅读】FedBABU:TOWARD ENHANCED REPRESENTATION FOR FEDERATED IMAGE CLASSIFICATION

算法流程:

训练过程中冻结客户端的头部参数,只训练主体参数。训练完之后再在客户端本地跑几个epoch微调一下(文章推荐5个)。

由于该算法与FedPer思路过于相似,故读完后跑了个实验。

FedPer:训练过程中只聚合主体参数。与BABU不同的是,BABU直接把头部参数给冻结了,而Per头部依旧是参与训练的。实验结果如下:

  • 引出的疑惑是,Per的头部是全程参与训练的,而BABU的头部训练时是冻结的,只是最后tune了几个epochs,然而Per的性能竟然弱这么多,这是为什么?
  • 最后看到文章第四节实验部分有提到,若过度关注于模型的初始性能(没有本地finetune过的性能),则会导致个性化准确率的减少。同时,集中训练的模型更难个性化。Per的头部参与了过多的训练,这可能是其个性化性能较差的原因。当然本人还有另一种想法,就是Per同时训练头部和主体参数,头部因训练而造成参数的改变也会影响主体的训练效果。而BABU完全锁定了头部参数,专注于主体参数的训练,就是在训练时专注于特征提取能力的提升,这样会使得BABU的主体层性能高于Per,而个性化性能只需要finetune几下就能训练好了,差别不大,故最终BABU的性能高于Per。
  • 另外暂不清楚为何BABU性能弱于avg+finetune但论文中显示BABU明显优于avg+finetune
相关推荐
番茄大王sc1 天前
2026年科研AI工具深度测评:文献调研与综述生成领域
论文阅读·人工智能·学习方法·论文笔记
码界奇点1 天前
基于Gin与GORM的若依后台管理系统设计与实现
论文阅读·go·毕业设计·gin·源代码管理
森诺Alyson2 天前
前沿技术借鉴研讨-2026.1.29(时间序列预测)
论文阅读·人工智能·经验分享·深度学习·论文笔记
有Li2 天前
多视图深度学习乳腺X线摄影分类技术:图和Transformer架构的探究/文献速递-基于人工智能的医学影像技术
论文阅读·深度学习·文献·医学生
数说星榆1813 天前
前后端分离开发流程-泳道图设计与应用
论文阅读·职场和发展·毕业设计·流程图·职场发展·论文笔记·毕设
数说星榆1813 天前
项目管理流程图-泳道图模板免费下载
论文阅读·毕业设计·流程图·论文笔记·毕设
程途拾光1583 天前
产品功能验收泳道图-流程图模板下载
论文阅读·职场和发展·毕业设计·流程图·课程设计·论文笔记·毕设
檐下翻书1733 天前
招聘SOP流程图-泳道图模板详细教程
论文阅读·毕业设计·流程图·图论·论文笔记·毕设
m0_650108243 天前
UniScene:面向自动驾驶的统一占用率中心驾驶场景生成
论文阅读·自动驾驶·uniscene·训练数据生成·语义占用率生成·多视角视频生成·激光雷达点云生成
蓝田生玉1234 天前
Deepstack论文阅读笔记
论文阅读·笔记