【提示学习论文】CoCoLe:Conceptual Codebook Learning for Vision-Language Models

Conceptual Codebook Learning for Vision-Language Models(ECCV 2024)

  • CPL的改进
  • 暂无代码

CPL

详见CPL论文

CoCoLe

  • a:手工概念缓存的建立过程
  • b:制作提示的过程,将图像输入Ev,得到image features v 作为查询query,找出相似度top-k2(k2=10)的键keys,与cls一起输入到LLM,生成最优的提示。
  • c:训练推理过程
  • 只有概念代码本中的key和value是可学习的
  • work:多个不同的图像特征分别有着对应的提示,更加细粒度

1 Loss

  • Lce:分类损失,最大化对齐图像特征fv和文本特征ft
  • Lma:最小化top-3 keys和图像特征fv的距离
  • Lcc:正则化,减小过拟合问题
  • Lor:确保文本特征是正交的,增强提示的多样性。对于每个提示,做余弦相似度,使得不同的提示嵌入正交化。

2 可学习的概念码本

  • 视觉概念向量Vi作为keys,D
  • 概念提示Pi作为values,由M个learnable vectors组成,DxM
  • 组成N对,N=100

具体过程

  • 输入图像到image encoder,得到图像特征fvj,计算fvj与所有Vi之间的余弦相似度得分Sc
  • 选择余弦相似度得分最高的top-k3(k3=4)个视觉概念Vi,组成集合Vj
  • 将Vj作为key,获得对应的value概念提示Pi,组成集合Pj
  • 将提示Pj与cls输入text encoder,得到文本特征ftj
  • 计算概率

疑问:

Vi的初始化是什么?Pi的初始化是什么?

3 手工概念缓存

  • CPL:选择top-1作为key
  • 区别:选择top-k1(k1=3)个图像特征,并计算它们的平均值作为key
  • 然后存储手工概念缓存

4 正则化的概念码本学习

确保可学习文本特征与手工概念提示差异不大

  • fhtd:手工制作的概念提示文本特征
  • fltd:可学习的提示文本特征

进行欧几里得距离约束:

5 推断

输出的文本特征,与图像特征进行相似度计算。

相关推荐
0x7CF4 分钟前
QT3D学习笔记——圆台、圆锥
qt·学习·3d
newxtc29 分钟前
【配置 YOLOX 用于按目录分类的图片数据集】
人工智能·目标跟踪·分类
qq_3863226942 分钟前
华为网路设备学习-24(路由器OSPF - 特性专题)
学习·华为·智能路由器
kooboo china.1 小时前
Tailwind CSS 实战:基于 Kooboo 构建 AI 对话框页面(八):异步处理逻辑详解
前端·css·人工智能·编辑器·html·交互
viperrrrrrrrrr71 小时前
大数据学习(132)-HIve数据分析
大数据·hive·学习
newxtc1 小时前
【JJ斗地主-注册安全分析报告】
开发语言·javascript·人工智能·安全
黑码哥1 小时前
Copilot for Xcode (iOS的 AI辅助编程)
人工智能·copilot·ai编程·xcode·ai辅助编程
深科文库1 小时前
构建 MCP 服务器:第 2 部分 — 使用资源模板扩展资源
人工智能·chatgpt·llama