提示学习

Progressive Multi-modal Conditional Prompt Tuning图像的重复消化有助于提高分类精度。ProMPT不是直接进行预测，而是多次重新访问原始图像以检查答案，逐步将预测从粗糙细化到精确。希望达到的效果如下：图7:通过迭代进化，ProMPT逐步将CLIP产生的错误结果纠正为正确的结果。 ✓ \checkmark ✓表示正确和×表示不正确的预测。

DePT: Decoupled Prompt Tuning现有的提示调优方法通常无法摆脱Base-New Tradeoff(BNT)困境，即调优/调整的模型对基本任务的泛化效果越好，对新任务的泛化效果就越差(包含不可见的类)，反之新任务的泛化效果越好，所需要的代价便是基本任务的泛化效果越差。作者最终达到的结果便是：Base和New的准确率上同时得到提升

MVPT: Multitask Vision-Language Prompt Tuning提示调整(Prompt Tuning)是一种针对特定任务的学习提示向量的调节，已成为一种数据高效和参数高效的方法，用于使大型预训练的视觉语言模型适应多个下游任务。然而，现有的方法通常是从头开始独立地学习每个任务的提示向量，从而无法利用不同视觉语言任务之间丰富的可共享知识。在本文中，我们提出了多任务视觉语言提示调优(MVLPT)，它将跨任务知识融入到视觉语言模型的提示调优中。具体来说，(i)我们证明了从多个源任务中学习单个可转移提示以初始化每个目标任务的提示的有效性;(ii)我们证明了许多目标任务可以通过共

PDA:Prompt-based Distribution Alignment for Unsupervised Domain Adaptation式中， y s y^s ys表示源域数据的one-hot ground-truth， K K K为类数， w i w_i wi和 z ~ s \tilde{z}_s z~s分别表示源域经过提示调优的最终文本表示和最终图像表示的第 i i i类。同理，为了进一步利用目标领域的数据，我们使用伪标签来训练这些未标记的数据。为了提高这些伪标签的可靠性，我们设置了一个固定的阈值 τ \tau τ。如果CLIP预测的给定图像的最大概率 τ p \tau_p τp低于该阈值，则丢弃伪标签。同样，我们采用对比损失函数:

PPT: Pre-trained Prompt Tuning for Few-shot Learning当前的学者(a)、(b)、©都是通过微调模型(encoder/decoder)来适应下游任务。尽管效果很好，但是一方面代价很大，一方面在小样本设置下，微调模型这种做法性能差得多。本文的想法：通过一些预训练任务仅冻结所有PLM参数并仅调整软提示，而不添加任何中间层和任务特定组件。从公式的角度来描述：目标都是希望掩码的预测结果等于标签 v ( y ) v(y) v(y) 公式(1)即为之前的做法：微调的为encoder/decoder的参数 θ \theta θ 公式(2)即为推荐的做法：添加上软提示 P

TechBeat人工智能社区

AAAI 2024 | Adobe提出全新上下文提示学习框架CoPL，高效提升下游性能论文题目：CoPL: Contextual Prompt Learning for Vision-Language Understanding 论文链接：https://arxiv.org/abs/2307.00910

大模型开发(八)：基于思维链(CoT)的进阶提示工程全文共8000余字，预计阅读时间约16~27分钟 | 满满干货（附复现代码），建议收藏！