Scaling Language-Image Pre-training via Masking（FLIP，2023）👍
贡献：
1.图像端引入MAE的随机MASK，image encoder只处理未mask的patches（和之前的MAE方法一致），减少了输入序列长度加速训练，减少memory开销。
text端没引入mask是因为text信息比较dense（图片信息比较稀疏），mask掉效果反而不好，之后是选择mask掉text
padding的地方提升了精度。
2.做了三个方面的scale：说明model和data的scale还是很重要的，不同数据集相同大小也会对模型造成影响
- model scaling：vit变大，效果很直观的好
- data scaling：将预训练数据集从LAION-400M扩展到更大的数据集LAION-2B（固定训练过程采样的样本总量）
- schedule scaling ：增加训练过程的采样数据量（从12.8B->25.6B，即训练epochs从32增加至64）
下图绿色划线：增大VIT有利于transfer learning，增加数据量有利于做zero shot
模型
Ablation study
（a）我觉得可能提升的一个因素是bz大了，负样本也多了，效果好，作者不做相同bz的实验
（d）说明了减少mask率微调几个epoch有有助于提升精度
GLIP：Grounded Language-Image Pre-training（2022）👍
模型：
Language-Aware Deep Fusion：
1.image encoder 和 text encoder 抽取图像和文本的特征
2.对抽取的特征进行cross attention ，获得更好的交互后的特征：
X-MHA：cross-modality multi-head attention module，类似cross attention ，qk算attn，各自的v分别算一次
上图（B）是在（A）的基础上添加了deep fusion，涨点还是很明显的，增加数据量涨点也很明显