【论文阅读】FedBABU:TOWARD ENHANCED REPRESENTATION FOR FEDERATED IMAGE CLASSIFICATION

算法流程:

训练过程中冻结客户端的头部参数,只训练主体参数。训练完之后再在客户端本地跑几个epoch微调一下(文章推荐5个)。

由于该算法与FedPer思路过于相似,故读完后跑了个实验。

FedPer:训练过程中只聚合主体参数。与BABU不同的是,BABU直接把头部参数给冻结了,而Per头部依旧是参与训练的。实验结果如下:

  • 引出的疑惑是,Per的头部是全程参与训练的,而BABU的头部训练时是冻结的,只是最后tune了几个epochs,然而Per的性能竟然弱这么多,这是为什么?
  • 最后看到文章第四节实验部分有提到,若过度关注于模型的初始性能(没有本地finetune过的性能),则会导致个性化准确率的减少。同时,集中训练的模型更难个性化。Per的头部参与了过多的训练,这可能是其个性化性能较差的原因。当然本人还有另一种想法,就是Per同时训练头部和主体参数,头部因训练而造成参数的改变也会影响主体的训练效果。而BABU完全锁定了头部参数,专注于主体参数的训练,就是在训练时专注于特征提取能力的提升,这样会使得BABU的主体层性能高于Per,而个性化性能只需要finetune几下就能训练好了,差别不大,故最终BABU的性能高于Per。
  • 另外暂不清楚为何BABU性能弱于avg+finetune但论文中显示BABU明显优于avg+finetune
相关推荐
m4Rk_4 小时前
【论文阅读】Agent 记忆机制(59):Synapse——让相关记忆沿情景—语义图被逐步激活
论文阅读·人工智能·学习·开源·github
扫描电镜4 小时前
Nature Communications:SEM-EDS解析高性能海水电解催化电极微观结构
论文阅读·科研·扫描电镜
tangjiawen101791 天前
海外竞争新格局下,中国汽车的真正分水岭
论文阅读
tangjiawen101791 天前
光伏超越煤电:中国能源重组的底层逻辑
论文阅读
柳叶方舟1 天前
Nature:AI 第一次把生物学发现做成“假设—实验—数据分析”闭环?
大数据·论文阅读·人工智能·数据分析·健康医疗
chnyi6_ya1 天前
论文阅读笔记 | Agent0-VL:把工具用进“自我评估“,让视觉语言智能体零外部奖励地自我进化
论文阅读·笔记
m4Rk_1 天前
【论文阅读】Agent 记忆机制(56):R2D2——把历史网页轨迹变成可搜索地图与反思记忆
论文阅读·人工智能·学习·开源·github
m4Rk_1 天前
【论文阅读】Agent 记忆机制(58):Amory——把长期对话从记忆碎片组织成会生长的故事
论文阅读·人工智能·学习·开源·github
Capricorn19881 天前
科研智能体出现召回率低与数据覆盖冲突怎么排查?知芽 Notebook Skill 机制拆解
大数据·论文阅读·人工智能·笔记
VL——MOESR2 天前
【具身智能】VLA论文阅读随笔
论文阅读·人工智能·机器学习·具身智能·vla