【提示学习论文】AAPL: Adding Attributes to Prompt Learning for Vision-Language Models

AAPL: Adding Attributes to Prompt Learning for Vision-Language Models(2024CVPR)

  • 问题:在unseen class上,性能提升有限
  • 解决:在提示学习中引入对抗性标记嵌入adversarial token embedding, 将低层次视觉增强特征与高层次类别信息解耦,解决传统零样本学习技术中的数据增强问题。
  • AdTriplet损失函数

对比CoCoOp和APPL


  • 1、2:类别
  • A、B:不同的随机增强
  • pull:对图像进行不同的随机增强后,即时希望图像有所不同,但它们仍然是同一个类别。因此增量元标记通过将相同类别的增量原标记拉近,来学习相似的属性特征。
  • push:对于不同类别的图像,它们的增量元标记应该学习到不同的属性特征。因此需要embedding中将它们推开来学习。

动机

meta token不能有效的捕捉语义信息

提出 delta meta token

  • 需要两个类别
  • 两种随机增强(从SimCLR提出的14种无重复增强方法种随机选择两种)

对抗性三重损失

constraints-2

  • Δpai 1A
  • 正对 Δpai 2A:不同类别,相同增强
  • 反对 Δpai 1B:相同类别,不同增强

constraints-4

总损失

实验

base to new 76.01

总结

  • 在CoCoOp上的改进,在原本的meta-net中,增加了Adtriplet loss。通过在两个类别,两种随机增强之间计算,更新meta-net。
  • 然后将meta token加入到Learnable prompt里面,和CoCoOp一样

疑问

为什么这样做能达到解耦的效果?

  • 增量元标记Δmeat tokens:从同一类别不同增强的图像中相减得到,主要捕捉图像增强的变化(低层次特征差异,与类别的高层语义信息无关)
  • 使得增量元标记可以专注于增强引入的低层次特征,而非类别本身的特征

对抗三重损失的作用?

  • 拉近同一类别的不同增强版本
  • 推开不同类别的增量元标记,进一步区分类别之间的特征
  • 帮助低层次的视觉特征(亮度、颜色)与高层次的语义特征(类别)之间,建立清晰的界限
  • 使得模型学会增强特征与类别特征的区分能力,有效将两者解耦

可学习提示?

  • 最后将增量元标记中的属性特定偏差引入到learnable prompt中,此时增量元标记包含低层次增强特征,让提示学习可以专注于高层次类别信息。
相关推荐
DisonTangor15 分钟前
阿里开源Qwen3-Omni-30B-A3B三剑客——Instruct、Thinking 和 Captioner
人工智能·语言模型·开源·aigc
丁学文武1 小时前
大语言模型(LLM)是“预制菜”? 从应用到底层原理,在到中央厨房的深度解析
人工智能·语言模型·自然语言处理·大语言模型·大模型应用·预制菜
Larry_Yanan3 小时前
QML学习笔记(三十四)QML的GroupBox、RadioButton
c++·笔记·qt·学习·ui
im_AMBER3 小时前
杂记 14
前端·笔记·学习·web
许泽宇的技术分享4 小时前
当Excel遇上大语言模型:ExcelAgentTemplate架构深度剖析与实战指南
语言模型·架构·excel
立志成为大牛的小牛4 小时前
数据结构——十七、线索二叉树找前驱与后继(王道408)
数据结构·笔记·学习·程序人生·考研·算法
张永清-老清5 小时前
每周读书与学习->初识JMeter 元件(五)
学习·jmeter·性能调优·jmeter性能测试·性能分析·干货分享·每周读书与学习
低音钢琴5 小时前
【从零开始构建性能测试体系-02】 Apache JMeter 取样器指南:从入门到精通
学习·jmeter·apache
im_AMBER5 小时前
Web 开发 27
前端·javascript·笔记·后端·学习·web
cimeo5 小时前
【C 学习】12.2-函数补充
学习·c#