Clip微调系列:《MaPLe: Multi-modal Prompt Learning》

论文链接:arxiv.org/pdf/2210.03117

参考链接:(28 封私信) CVPR2023 | MaPLe: Multi-modal Prompt Learning - 知乎

灵魂三问:动机?具体实现方法?实验结论?


动机

以Clip为代表的视觉-语言模型虽然在下游任务泛化性好,但是++性能高度依赖输入文本提示++(Prompt)的设计选择。

现有的改进方法(如CoOp)提出通过可学习的提示调优(prompt-tuning)来替代人工设计硬提示(hard prompt),从而降低模型对prompt的依赖。

Clip微调系列:《coOp: learning to prompt for vision-language models》 -CSDN博客

但是上面这种prompt-tuning改进方法++仅通过文本分支的调整++ ,无法在下游任务上灵活动态的调整视觉-语言两个模态的表示空间,因此提出MaPle:促进视觉-语言prompt之间的交互。


具体实现

  1. 提出CLIP中的多模态(视觉-文本)的prompt学习;

  2. 提出一个耦合函数,为了将视觉-文本两个prompt联系在一起;

  3. 在视觉-文本分支的Transformer块中分层学习多模态prompt,逐步建模双模态的协同行为,从而更灵活对齐视觉-文本特征。

可以拆成两部分看:

第一部分:

在两个分支的不同Transoformer Layers分别引入prompt;

以文本分支举例:

在第一层,引入b个可学习的参数(learnable tokens);

和之前固定的输入token W concat拼接在一起输入Transformer Encoder Layer;

第二层同理,引入新的b个可学习参数 和 W 拼接输入第二层;

图中一共有k层Encoder Layers,J指当前层。

注意,如果这里J是1,也就是只在第一层引入可学习参数,就和coOp方法是一样的。

视觉同理:


第二部分:

为了让两个prompt有联系,设计了一个耦合函数,让视觉分支的prompt由文本分支的prompt 映射形成;

这里的耦合函数就是一个线性层


实验结论

  1. 只在第一层添加可学习参数;

  2. 只有视觉分支;

  3. 只有文本分支;

  4. 两个分支的prompt独立;

  5. 两个分支的pormpt+耦合函数。
    prompt 深度的影响

一般而言,随着提示深度的增加,性能会有所提升。

当在一个已经成熟的冻结模型的深层插入随机初始化的提示时,性能敏感性会增加。

(人话:当提示在模型比深的层被引入时,任何微小的调整或变化可能会显著改变模型的预测结果,因此模型对这些变化更加敏感。)

类似的趋势也在文献 [Visual Prompt Tuning] 中被报告。由于早期的方法使用浅层语言提示(J=1),我们将我们的方法与深度语言提示进行了比较。总体而言,MaPLe 的表现优于深度语言提示,并在深度为 9 时达到最佳性能。

(28 封私信) 【论文精读】Visual Prompt Tuning - 知乎

prompt 长度的影响

随着提示长度的增加,基础类别的性能通常保持不变,而新颖类别的准确率则下降。

这表明++出现了过拟合++,进而影响了对新颖类别的泛化能力。


多模态提示的有效性

对于那些与 CLIP 预训练数据集有较大分布转移的数据集,以及通常较为稀有和不太通用的视觉概念,MaPLe 提供了显著的性能提升。


提示复杂性

实验了 MaPLe†,它++对所有层的提示使用统一的 V-L 耦合函数++ 。MaPLe† 的参数数量约为 MaPLe 的 1/9,但++性能差异不大。++

其他对比:

相关推荐
qiu_zhongya11 小时前
iree 用C++来运行Qwen 2.5 0.5b
开发语言·c++·人工智能
拾贰_C11 小时前
【anaconda】anaconda安装配置,git安装配置以及pytorch安装
人工智能·pytorch·git
荼蘼11 小时前
Dlib+OpenCV 人脸轮廓绘制
人工智能·opencv·计算机视觉
九河云11 小时前
物流仓储自动化升级:物道供应链 AGV 机器人实现分拣效率提升 60%
人工智能·科技·物联网·机器人·自动化
正点原子11 小时前
正点原子 x STM32:智能加速边缘AI应用开发!
人工智能·stm32·嵌入式硬件
金井PRATHAMA11 小时前
GraphRAG(知识图谱结合大模型)对人工智能中自然语言处理的深层语义分析的影响与启示
人工智能·自然语言处理·知识图谱
CCSBRIDGE12 小时前
Browser-Use 的实现原理
人工智能
愚公搬代码12 小时前
【愚公系列】《人工智能70年》044-数据科学崛起(安全与隐私,硬币的另一面)
人工智能·安全
黄啊码12 小时前
【黄啊码】AI总瞎编?不是BUG,而是天赋技能
人工智能
黄啊码12 小时前
【黄啊码】当内容成为“预制菜”,我们又该怎么办?
人工智能