一：百花齐放
1- Inst-Disc
2 - Inva-Spread
3 - CPC
4 - CMC
二、CV双雄
1 - MoCo
2 - SimCLR
创新点：1 - 数据增强； 2- g函数； 3- 更大的批次+更长的训练时间
下面为论文中的数据增强技术：
结果表明：Crop和Color最有效
下图说明，1- 增加非线性层比直接用编码器增加很大；2- 非线性层比线性层增加10个点；3- 维度128就已经很好，无需更大；
3 - MoCo V2
在SimCLR上改进，节奏很快。
改进汇总如下：
4 - SimCLR v2
5 - SWAV-引入聚类
算法分析如下：
结果一流：
除了使用聚类，还增加了Crop数量
消融研究
三、无负样本
1 - BYOL
算法关键点如下：1 - 一个视角进行预测另一个视角；2 - 两个视角的MSE为目标函数
无负样本解释1：
1 - SimCLR架构
2 - MoCo V2
3 - BYOL
4 - BN作用对比
5- BN求平均，隐含负样本
6 - 回应
7 - 详细消融实验
2 - Sim-siam
2.1 - 伪代码
2.2 - 假设
2.3 - 孪生网络对比
2.4 - 对比
四、Transformer
论文1 - MoCo V3 - Kaiming He
细节1 - 批次变大，结果不稳定
细节1解答 patch projection
论文2 - DINO
架构
五、总结
