DeCLIP 论文阅读

DeCLIP:supervision exists everywhere:a data efficient contrastive language-image pre-training paradigm

贡献:

  1. 论文是为了充分利用单模态和多模态,充分利用单模态特征用自监督(SIMSAM和MLM),多模态用图像文本对比学习实现;

  2. 一个图片的文本描述大部分都是集中在局部区域,作者使用RRC得到一个图像的局部区域进行实现;

  3. 一个图片有多种描述方式,提出用最近邻文本检索得到更多文本监督。(i.e.,对图像的文本描述1的特征向量在队列库中求余弦相似性得到最相似的描述2)

在SLIP基础上新增一个文本域的自监督,即该论文使用图片自监督+文本自监督+两倍图像-三倍文本对的对比学习。

模型

  • 图像自监督框架:SimSam
  • 文本自监督框架:MLM,每个句子中随机选择15%的单词,然后,80%的时间用【mask】替换单词,用10%的时间用随机token替换单词,用10%的时间不改变单词。最后得到语言模型对应的token域原始token进行交叉熵loss。
  • 图像-文本模态:原始的 CLIP 不使用文本增强,仅使用随机方形裁剪图像增强,因此需要大量数据。deCLIP使用随机数据增强,相比于原始CLIP,该论文监督信息更多。
  • 在嵌入空间中(具体来说是64K大小的队列)使用了Nearest-Neighbor 获得相似性的文本信息 。即,论文维护一个队列,在嵌入空间中使用最近邻检索得到一个最相似的文本描述。(隐式存在一对多,提供更好的监督信号,BLIP)

图片里灰色是原本的对比学习,绿的是自监督,橙色也是对比学习,蓝色是Nearest-Neighbor Supervision获得的最相似的文本和两个图片进行对比学习

总损失函数:

ref

https://zhuanlan.zhihu.com/p/585778761

相关推荐
Eastmount1 天前
[论文阅读] (55)NDSS26 WebSpotter:Web攻击恶意载荷定位与可解释攻击检测
论文阅读·网络安全·攻击检测·ndss
天树星智源6 天前
记忆该记「赔率跳变」:机器人长时程十连任务,事件记忆 88.0%,删掉失败记录只剩 1.7%
论文阅读·人工智能·机器人
XLYcmy7 天前
ASR 识别任务:两篇论文阅读分析与系统方案技术报告 当前报告的建议和改进方向
论文阅读·论文笔记·token·commit·asr·论文分享·tokenizer
XLYcmy8 天前
ASR 识别任务:两篇论文阅读分析与系统方案技术报告 当前报告不足
论文阅读·论文笔记·token·cuda·asr·论文分享·tokenizer
feasibility.9 天前
LeCun团队世界模型JEPA首登无人机:9K参数模型,零样本Sim-to-Real飞入100Hz闭环
论文阅读·嵌入式·无人机·具身智能·世界模型·杨立昆·jpea
XLYcmy9 天前
ASR识别任务两篇论文阅读分析与系统方案技术报告 上
论文阅读·ai·gpu·asr·论文分享·speechbrain·wespeaker
Zucker n10 天前
文献发现、课题组织与证据可追溯的论文阅读。
论文阅读·windows·ubuntu
西柚小萌新10 天前
【论文阅读】--可信LLM智能体的威胁与对策 综述
论文阅读
Rocky Ding*10 天前
【三年面试五年模拟】2026-11-05_月之暗面大模型算法岗一面、二面面经全解析
论文阅读·人工智能·深度学习·机器学习·aigc·强化学习·ai-native
Rocky Ding*12 天前
REPA-E技术深度解析:解冻 VAE 之后,扩散模型为什么需要选择梯度
论文阅读·人工智能·深度学习·机器学习·aigc·ai-native·repa-e