Clip微调系列:《MaPLe: Multi-modal Prompt Learning》

论文链接:arxiv.org/pdf/2210.03117

参考链接:(28 封私信) CVPR2023 | MaPLe: Multi-modal Prompt Learning - 知乎

灵魂三问:动机?具体实现方法?实验结论?


动机

以Clip为代表的视觉-语言模型虽然在下游任务泛化性好,但是++性能高度依赖输入文本提示++(Prompt)的设计选择。

现有的改进方法(如CoOp)提出通过可学习的提示调优(prompt-tuning)来替代人工设计硬提示(hard prompt),从而降低模型对prompt的依赖。

Clip微调系列:《coOp: learning to prompt for vision-language models》 -CSDN博客

但是上面这种prompt-tuning改进方法++仅通过文本分支的调整++ ,无法在下游任务上灵活动态的调整视觉-语言两个模态的表示空间,因此提出MaPle:促进视觉-语言prompt之间的交互。


具体实现

  1. 提出CLIP中的多模态(视觉-文本)的prompt学习;

  2. 提出一个耦合函数,为了将视觉-文本两个prompt联系在一起;

  3. 在视觉-文本分支的Transformer块中分层学习多模态prompt,逐步建模双模态的协同行为,从而更灵活对齐视觉-文本特征。

可以拆成两部分看:

第一部分:

在两个分支的不同Transoformer Layers分别引入prompt;

以文本分支举例:

在第一层,引入b个可学习的参数(learnable tokens);

和之前固定的输入token W concat拼接在一起输入Transformer Encoder Layer;

第二层同理,引入新的b个可学习参数 和 W 拼接输入第二层;

图中一共有k层Encoder Layers,J指当前层。

注意,如果这里J是1,也就是只在第一层引入可学习参数,就和coOp方法是一样的。

视觉同理:


第二部分:

为了让两个prompt有联系,设计了一个耦合函数,让视觉分支的prompt由文本分支的prompt 映射形成;

这里的耦合函数就是一个线性层


实验结论

  1. 只在第一层添加可学习参数;

  2. 只有视觉分支;

  3. 只有文本分支;

  4. 两个分支的prompt独立;

  5. 两个分支的pormpt+耦合函数。
    prompt 深度的影响

一般而言,随着提示深度的增加,性能会有所提升。

当在一个已经成熟的冻结模型的深层插入随机初始化的提示时,性能敏感性会增加。

(人话:当提示在模型比深的层被引入时,任何微小的调整或变化可能会显著改变模型的预测结果,因此模型对这些变化更加敏感。)

类似的趋势也在文献 Visual Prompt Tuning 中被报告。由于早期的方法使用浅层语言提示(J=1),我们将我们的方法与深度语言提示进行了比较。总体而言,MaPLe 的表现优于深度语言提示,并在深度为 9 时达到最佳性能。

(28 封私信) 【论文精读】Visual Prompt Tuning - 知乎

prompt 长度的影响

随着提示长度的增加,基础类别的性能通常保持不变,而新颖类别的准确率则下降。

这表明++出现了过拟合++,进而影响了对新颖类别的泛化能力。


多模态提示的有效性

对于那些与 CLIP 预训练数据集有较大分布转移的数据集,以及通常较为稀有和不太通用的视觉概念,MaPLe 提供了显著的性能提升。


提示复杂性

实验了 MaPLe†,它++对所有层的提示使用统一的 V-L 耦合函数++ 。MaPLe† 的参数数量约为 MaPLe 的 1/9,但++性能差异不大。++

其他对比:

相关推荐
forest_092 小时前
《AI 编程 Harness 实战手册》04|审批这道门:点了一百次“允许”,还剩多少作用?
人工智能·算法·prompt·agi
火山引擎开发者社区3 小时前
当 RPA 遇上 Agent:MUA 混合执行 Workflow 深度拆解
人工智能
严肃小白兔4 小时前
第 10/24 期:深度神经网络的自动求导机制与梯度验证
人工智能·神经网络·dnn
火山引擎开发者社区4 小时前
定档12.16-12.18!FORCE原动力大会上海见!
人工智能
努力的MM1234 小时前
CAIE 二级和阿里云大模型 ACP 怎么选?企业 AI 工程与云平台开发能力对比
人工智能
老金带你玩AI4 小时前
Kling Image 4.0来了!8K和组图直出,电商人的提效神器?
人工智能
孟健4 小时前
用 unslop 拯救 AI 生成网页的塑料感,7 分钟重构落地实测
前端·人工智能·ai编程
stormzhangV5 小时前
Google 重返第一梯队
人工智能·google·aigc
十有八七5 小时前
手搓 Agent(五):学会翻书——RAG,先查资料再回答
前端·人工智能·后端