【提示学习论文】CoCoLe:Conceptual Codebook Learning for Vision-Language Models

Conceptual Codebook Learning for Vision-Language Models(ECCV 2024)

  • CPL的改进
  • 暂无代码

CPL

详见CPL论文

CoCoLe

  • a:手工概念缓存的建立过程
  • b:制作提示的过程,将图像输入Ev,得到image features v 作为查询query,找出相似度top-k2(k2=10)的键keys,与cls一起输入到LLM,生成最优的提示。
  • c:训练推理过程
  • 只有概念代码本中的key和value是可学习的
  • work:多个不同的图像特征分别有着对应的提示,更加细粒度

1 Loss

  • Lce:分类损失,最大化对齐图像特征fv和文本特征ft
  • Lma:最小化top-3 keys和图像特征fv的距离
  • Lcc:正则化,减小过拟合问题
  • Lor:确保文本特征是正交的,增强提示的多样性。对于每个提示,做余弦相似度,使得不同的提示嵌入正交化。

2 可学习的概念码本

  • 视觉概念向量Vi作为keys,D
  • 概念提示Pi作为values,由M个learnable vectors组成,DxM
  • 组成N对,N=100

具体过程

  • 输入图像到image encoder,得到图像特征fvj,计算fvj与所有Vi之间的余弦相似度得分Sc
  • 选择余弦相似度得分最高的top-k3(k3=4)个视觉概念Vi,组成集合Vj
  • 将Vj作为key,获得对应的value概念提示Pi,组成集合Pj
  • 将提示Pj与cls输入text encoder,得到文本特征ftj
  • 计算概率

疑问:

Vi的初始化是什么?Pi的初始化是什么?

3 手工概念缓存

  • CPL:选择top-1作为key
  • 区别:选择top-k1(k1=3)个图像特征,并计算它们的平均值作为key
  • 然后存储手工概念缓存

4 正则化的概念码本学习

确保可学习文本特征与手工概念提示差异不大

  • fhtd:手工制作的概念提示文本特征
  • fltd:可学习的提示文本特征

进行欧几里得距离约束:

5 推断

输出的文本特征,与图像特征进行相似度计算。

相关推荐
芯盾时代42 分钟前
安全大模型智驱网络和数据安全效能跃迁
网络·人工智能·安全·网络安全
ThreeYear_s1 小时前
基于FPGA的PID算法学习———实现PI比例控制算法
学习·算法·fpga开发
彩讯股份3006341 小时前
打造多模态交互新范式|彩讯股份中标2025年中国移动和留言平台AI智能体研发项目
人工智能
思通数科大数据舆情2 小时前
工业安全零事故的智能守护者:一体化AI智能安防平台
人工智能·安全·目标检测·计算机视觉·目标跟踪·数据挖掘·知识图谱
AI360labs_atyun2 小时前
2025 高考:AI 都在哪些地方发挥了作用
人工智能·科技·ai·高考
银色的白3 小时前
工作记录:人物对话功能开发与集成
vue.js·学习·前端框架
Yxh181377845543 小时前
短视频矩阵系统技术saas源头6年开发构架
人工智能·矩阵
m0_634448894 小时前
图上合成:用于大型语言模型持续预训练的知识合成数据生成
人工智能·语言模型·自然语言处理
新中地GIS开发老师4 小时前
三维GIS开发cesium智慧地铁教程(4)城市白模加载与样式控制
学习·arcgis·智慧城市·webgl·gis开发·webgis·地理信息科学
Studying 开龙wu4 小时前
机器学习监督学习实战五:六种算法对声呐回波信号进行分类
学习·算法·机器学习