【论文阅读】FedBABU:TOWARD ENHANCED REPRESENTATION FOR FEDERATED IMAGE CLASSIFICATION

算法流程:

训练过程中冻结客户端的头部参数,只训练主体参数。训练完之后再在客户端本地跑几个epoch微调一下(文章推荐5个)。

由于该算法与FedPer思路过于相似,故读完后跑了个实验。

FedPer:训练过程中只聚合主体参数。与BABU不同的是,BABU直接把头部参数给冻结了,而Per头部依旧是参与训练的。实验结果如下:

  • 引出的疑惑是,Per的头部是全程参与训练的,而BABU的头部训练时是冻结的,只是最后tune了几个epochs,然而Per的性能竟然弱这么多,这是为什么?
  • 最后看到文章第四节实验部分有提到,若过度关注于模型的初始性能(没有本地finetune过的性能),则会导致个性化准确率的减少。同时,集中训练的模型更难个性化。Per的头部参与了过多的训练,这可能是其个性化性能较差的原因。当然本人还有另一种想法,就是Per同时训练头部和主体参数,头部因训练而造成参数的改变也会影响主体的训练效果。而BABU完全锁定了头部参数,专注于主体参数的训练,就是在训练时专注于特征提取能力的提升,这样会使得BABU的主体层性能高于Per,而个性化性能只需要finetune几下就能训练好了,差别不大,故最终BABU的性能高于Per。
  • 另外暂不清楚为何BABU性能弱于avg+finetune但论文中显示BABU明显优于avg+finetune
相关推荐
Rocky Ding*1 天前
【三年面试五年模拟】2026-11-01_字节跳动AI Agent全栈研发一面面经全解析
论文阅读·人工智能·深度学习·机器学习·aigc·ai-native·ai agent
五网1 天前
软件测试用例模板怎么写:从用例设计到执行记录的全套指南
软件测试·论文阅读·全文检索·测试用例·论文笔记·用例设计·用例模板
Rocky Ding*2 天前
深入浅出IDM-VTON论文精读:虚拟试衣怎样同时保住服装语义与局部细节
论文阅读·人工智能·深度学习·机器学习·aigc·ai-native·idm-vton
天树星智源2 天前
机器人 VLA 一个模型同时动手和动脑:动作参数只占 0.21%,万级扰动任务 85.9%
论文阅读·机器人·vla·全身控制
DUTBenjamin4 天前
论文阅读笔记:GPT-6-Astra Lights Up Embodied Navigation
论文阅读·具身智能·vln
七元权5 天前
FoundationPose 推理全流程解读:从一帧 RGB-D 到 6D 位姿
论文阅读·深度学习·6d姿态估计
m4Rk_6 天前
【论文阅读】Agent 记忆机制(119):EvoLife——让具身 Agent 把主动问到的答案沉淀为可复用的空间经验
论文阅读·人工智能·学习·开源·github
lally.8 天前
论文阅读-FAST_FAIR
论文阅读
Rocky Ding*9 天前
深入浅出GroundingPI技术解析:精确空间感知如何迁移到机器人动作
论文阅读·人工智能·深度学习·机器学习·aigc·ai-native·具身智能
m4Rk_9 天前
【论文阅读】Agent 记忆机制(116):Hybrid Memory——用互补策展与离线巩固构建长期记忆
论文阅读·人工智能·学习·开源·github