Clip微调系列:《MaPLe: Multi-modal Prompt Learning》

论文链接:arxiv.org/pdf/2210.03117

参考链接:(28 封私信) CVPR2023 | MaPLe: Multi-modal Prompt Learning - 知乎

灵魂三问:动机?具体实现方法?实验结论?


动机

以Clip为代表的视觉-语言模型虽然在下游任务泛化性好,但是++性能高度依赖输入文本提示++(Prompt)的设计选择。

现有的改进方法(如CoOp)提出通过可学习的提示调优(prompt-tuning)来替代人工设计硬提示(hard prompt),从而降低模型对prompt的依赖。

Clip微调系列:《coOp: learning to prompt for vision-language models》 -CSDN博客

但是上面这种prompt-tuning改进方法++仅通过文本分支的调整++ ,无法在下游任务上灵活动态的调整视觉-语言两个模态的表示空间,因此提出MaPle:促进视觉-语言prompt之间的交互。


具体实现

  1. 提出CLIP中的多模态(视觉-文本)的prompt学习;

  2. 提出一个耦合函数,为了将视觉-文本两个prompt联系在一起;

  3. 在视觉-文本分支的Transformer块中分层学习多模态prompt,逐步建模双模态的协同行为,从而更灵活对齐视觉-文本特征。

可以拆成两部分看:

第一部分:

在两个分支的不同Transoformer Layers分别引入prompt;

以文本分支举例:

在第一层,引入b个可学习的参数(learnable tokens);

和之前固定的输入token W concat拼接在一起输入Transformer Encoder Layer;

第二层同理,引入新的b个可学习参数 和 W 拼接输入第二层;

图中一共有k层Encoder Layers,J指当前层。

注意,如果这里J是1,也就是只在第一层引入可学习参数,就和coOp方法是一样的。

视觉同理:


第二部分:

为了让两个prompt有联系,设计了一个耦合函数,让视觉分支的prompt由文本分支的prompt 映射形成;

这里的耦合函数就是一个线性层


实验结论

  1. 只在第一层添加可学习参数;

  2. 只有视觉分支;

  3. 只有文本分支;

  4. 两个分支的prompt独立;

  5. 两个分支的pormpt+耦合函数。
    prompt 深度的影响

一般而言,随着提示深度的增加,性能会有所提升。

当在一个已经成熟的冻结模型的深层插入随机初始化的提示时,性能敏感性会增加。

(人话:当提示在模型比深的层被引入时,任何微小的调整或变化可能会显著改变模型的预测结果,因此模型对这些变化更加敏感。)

类似的趋势也在文献 [Visual Prompt Tuning] 中被报告。由于早期的方法使用浅层语言提示(J=1),我们将我们的方法与深度语言提示进行了比较。总体而言,MaPLe 的表现优于深度语言提示,并在深度为 9 时达到最佳性能。

(28 封私信) 【论文精读】Visual Prompt Tuning - 知乎

prompt 长度的影响

随着提示长度的增加,基础类别的性能通常保持不变,而新颖类别的准确率则下降。

这表明++出现了过拟合++,进而影响了对新颖类别的泛化能力。


多模态提示的有效性

对于那些与 CLIP 预训练数据集有较大分布转移的数据集,以及通常较为稀有和不太通用的视觉概念,MaPLe 提供了显著的性能提升。


提示复杂性

实验了 MaPLe†,它++对所有层的提示使用统一的 V-L 耦合函数++ 。MaPLe† 的参数数量约为 MaPLe 的 1/9,但++性能差异不大。++

其他对比:

相关推荐
hundaxxx2 分钟前
自演化大语言模型的技术背景
人工智能
数智顾问26 分钟前
【73页PPT】美的简单高效的管理逻辑(附下载方式)
大数据·人工智能·产品运营
love530love29 分钟前
【保姆级教程】阿里 Wan2.1-T2V-14B 模型本地部署全流程:从环境配置到视频生成(附避坑指南)
人工智能·windows·python·开源·大模型·github·音视频
木头左31 分钟前
结合机器学习的Backtrader跨市场交易策略研究
人工智能·机器学习·kotlin
Coovally AI模型快速验证37 分钟前
3D目标跟踪重磅突破!TrackAny3D实现「类别无关」统一建模,多项SOTA达成!
人工智能·yolo·机器学习·3d·目标跟踪·无人机·cocos2d
研梦非凡42 分钟前
CVPR 2025|基于粗略边界框监督的3D实例分割
人工智能·计算机网络·计算机视觉·3d
MiaoChuAI1 小时前
秒出PPT vs 豆包AI PPT:实测哪款更好用?
人工智能·powerpoint
fsnine1 小时前
深度学习——残差神经网路
人工智能·深度学习
和鲸社区2 小时前
《斯坦福CS336》作业1开源,从0手搓大模型|代码复现+免环境配置
人工智能·python·深度学习·计算机视觉·语言模型·自然语言处理·nlp
fanstuck2 小时前
2025 年高教社杯全国大学生数学建模竞赛C 题 NIPT 的时点选择与胎儿的异常判定详解(一)
人工智能·目标检测·数学建模·数据挖掘·aigc