On Data Scaling in Masked Image Modelin

论文名称:On Data Scaling in Masked Image Modeling

发表时间:CVPR2023

作者及组织:Zhenda Xie, ZhengZhang, Hu Han等,来自清华,西安交大,微软亚洲研究院。

前言

本文验证SIMMIM无监督预训练方法,是否会出现与NLP类似的拓展法则现象。

1、结论

这篇论文做了大量的对比实验,因此,先说结论:

1)大模型在小数据上过拟合;(感觉没啥a)

2)MIM需要更多的训练次数 T T T ;

3)预训练阶段的valid loss是对下游任务性能的很好代理指标。

总结:MIM的拓展法则可用这个式子近似:
P r e c i s i o n = D a t a _ S c a l e ∗ M o d e l _ S i z e ∗ T \begin{equation} Precision = Data\_Scale * Model\_Size * T \end{equation} Precision=Data_Scale∗Model_Size∗T

2、实验

2.1.对比实验配置

1)模型 :swin,参数量:50M1B,Flops:9G190G;

2) 数据 :如下图所示,将ImageNet1k按百分比划分出若干组子数据;

3) 训练时长 :125k,250k以及500k。在ImageNet1k上换算就是200,400,800epochs。

2.2.Pretrained实验结论:

上图表示在不同训练时长下在ImageNet1k上的精度:

首先说下simmim预训练方法的一个性质:能够用较少的数据跟用大量数据的有监督学习的精度持平。

1)第二列:Swin_L比Swin_H精度高,因为后者在IN1k20%出现过拟合;

2)当IN1k增加到IN22k时,Swin_H和Swin_G看起来饱和了。这应该是这俩模型的上限了,要想精度更高可能需要调大模型。

3)在800epoch 下,IN1K对于上述五个模型均未出现过拟合!IN1k对于小模型的数据量是够用的。

2.3.Finetune实验结论:

这里主要贴下coco上实验结论:在IN1k下在800epoch下,mAP是一直涨,但在IN22K下mAP似乎也饱和了。(论文中更大模型实验没做a...)

2.4.Pretrain stage的valid loss是Finetune的代理指标

上图红圈表示过拟合模型,绿圈表示非过拟合模型;不管过不过拟合在valid loss跟mAP是正相关的。

2.5.结论

在IN1k,小模型swin_s/b,只要在预训练阶段valid loss持续下降,则训练时长越长越好(至少800epoch)。

相关推荐
美狐美颜sdk27 分钟前
跨平台直播美颜SDK集成实录:Android/iOS如何适配贴纸功能
android·人工智能·ios·架构·音视频·美颜sdk·第三方美颜sdk
DeepSeek-大模型系统教程1 小时前
推荐 7 个本周 yyds 的 GitHub 项目。
人工智能·ai·语言模型·大模型·github·ai大模型·大模型学习
有Li1 小时前
通过具有一致性嵌入的大语言模型实现端到端乳腺癌放射治疗计划制定|文献速递-最新论文分享
论文阅读·深度学习·分类·医学生
郭庆汝1 小时前
pytorch、torchvision与python版本对应关系
人工智能·pytorch·python
小雷FansUnion3 小时前
深入理解MCP架构:智能服务编排、上下文管理与动态路由实战
人工智能·架构·大模型·mcp
资讯分享周3 小时前
扣子空间PPT生产力升级:AI智能生成与多模态创作新时代
人工智能·powerpoint
叶子爱分享4 小时前
计算机视觉与图像处理的关系
图像处理·人工智能·计算机视觉
鱼摆摆拜拜4 小时前
第 3 章:神经网络如何学习
人工智能·神经网络·学习
一只鹿鹿鹿4 小时前
信息化项目验收,软件工程评审和检查表单
大数据·人工智能·后端·智慧城市·软件工程
张较瘦_4 小时前
[论文阅读] 人工智能 | 深度学习系统崩溃恢复新方案:DaiFu框架的原位修复技术
论文阅读·人工智能·深度学习