表示学习发展历程

一:百花齐放

1- Inst-Disc

2 - Inva-Spread

3 - CPC

4 - CMC

二、CV双雄

1 - MoCo

2 - SimCLR

创新点:1 - 数据增强; 2- g函数; 3- 更大的批次+更长的训练时间

下面为论文中的数据增强技术:

结果表明:Crop和Color最有效

下图说明,1- 增加非线性层比直接用编码器增加很大;2- 非线性层比线性层增加10个点;3- 维度128就已经很好,无需更大;

3 - MoCo V2

在SimCLR上改进,节奏很快。

改进汇总如下:

4 - SimCLR v2

5 - SWAV-引入聚类

算法分析如下:

结果一流:

除了使用聚类,还增加了Crop数量

消融研究

三、无负样本

1 - BYOL

算法关键点如下:1 - 一个视角进行预测另一个视角;2 - 两个视角的MSE为目标函数

无负样本解释1:
1 - SimCLR架构
2 - MoCo V2
3 - BYOL
4 - BN作用对比
5- BN求平均,隐含负样本
6 - 回应

7 - 详细消融实验

2 - Sim-siam

2.1 - 伪代码
2.2 - 假设
2.3 - 孪生网络对比

2.4 - 对比

四、Transformer

论文1 - MoCo V3 - Kaiming He

细节1 - 批次变大,结果不稳定

细节1解答 patch projection

论文2 - DINO

架构

五、总结

相关推荐
瑞克-桑切斯11 小时前
Kubernetes 1.28 保姆级新手学习教程
运维·学习·docker·云原生·容器·kubernetes
kaixin_啊啊14 小时前
【三种鲑科鱼类比较基因组学分析鉴定出参与细胞内寄生菌鲑立克次体抗性的功能候选基因】论文学习
学习
CappuccinoRose16 小时前
Redis 学习文档
redis·后端·学习·缓存·session·非关系型数据库·gossip
qingwufeiyang_53017 小时前
Docker学习笔记2
笔记·学习
Z21-X18 小时前
云原生运维学习笔记:从操作系统底层到 Kubernetes 集群的深度实践
运维·笔记·学习·云原生·kubernetes
Century_Dragon18 小时前
把高压回路“看透” 新能源汽车动力系统拆装与检测实训MR软件
学习
电科_银尘1 天前
【深度学习项目实战·22】灰度图像着色:用小型U-Net学习从灰度到RGB
人工智能·深度学习·学习
QuZhengRong1 天前
【AI】Agent 全栈进阶|AgentScope 沙箱源码解析
python·学习·ai·agent·沙箱
承渊政道2 天前
【Python编程—从入门到实践】(用户账户:给Django网站装上登录系统,让每个人拥有自己的学习笔记)
python·学习·pycharm·django
诗句藏于尽头2 天前
游戏《完美神话》-使用Ai-agent进行修复已停服游戏到本地成功部署以及GM端网页完整教程
人工智能·学习·游戏