【提示学习论文】ProGrad:Prompt-aligned Gradient for Prompt Tuning论文原理

Prompt-aligned Gradient for Prompt Tuning(CORR2022 / ICCV2023)

1 Motivation

  • 经过CoOp微调过的prompt会导致模型更关注背景而不是前景对象,对于分类任务不利

2 Contribution

提出了一种基于prompt对齐的梯度的引导方法(ProGrad),来应对prompt学习中添加的不正确偏置的问题。在tuning的过程中进行一种正则化,来确保这一步的tuning不和原本的知识(zero-shot CLIP)产生冲突。

  • 一般方向(general direction):zero-shot CLIP
  • 域特殊方向(domain-specific direction):CoOp计算得出
    • 垂直向量 G ⊥ G_⊥ G⊥
    • 平行向量 G ∥ G_∥ G∥

3 具体方法

由CoOp进行学习的域特殊方向,加强其在当前数据下的精度的优化方向,但是这可能导致过拟合。用一个一般普通的prompt和zero-shot CLIP的logits计算一个KL散度,这个KL散度回传的梯度作为一般方向。

3.1 交叉熵损失


L c e L_{ce} Lce:模型预测 p ( t i ∣ x ) p(t_i|x) p(ti∣x)与真实值 y y y的交叉熵损失

3.2 KL散度

L k l L_{kl} Lkl:模型预测 p ( t i ∣ x ) p(t_i|x) p(ti∣x)与zero-shot CLIP 预测 p z s ( w i ∣ x ) p_{zs}(w_i|x) pzs(wi∣x)的KL散度

3.3 梯度

  • 将 L c e L_{ce} Lce的梯度表示为 G d = ∇ v L c e ( v ) G_d =∇vL{ce}(v) Gd=∇vLce(v)
  • 将 L k l L_{kl} Lkl的梯度表示为 G g = ∇ v L k l ( v ) G_g =∇vL{kl}(v) Gg=∇vLkl(v)

G d G_d Gd和 G g G_g Gg的关系:

  • 夹角小于90°:说明下游知识优化方向与一般知识不冲突 ,此时安全地更新梯度 G p r o g r a d G_{prograd} Gprograd作为 G d G_d Gd
  • 夹角大于90°:说明下游知识优化方向与一般知识冲突 ,此时,将 G d G_d Gd投影 G g G_g Gg的正交方向 ,避免增加 L k l L_{kl} Lkl

3.4 ProGrad策略公式

在本文CoOp中,我们没有使用 G d G_d Gd来更新上下文向量,而是使用 G p r o g r a d G_{prograd} Gprograd来优化,可以避免过拟合:

  • λ=1:将 G d G_d Gd投影到 G g G_g Gg的正交方向
  • λ=0:使prograd退化为CoOp

3.5 总体流程

  • 可学习上下文和类别输入文本编码器,图像输入图像编码器
  • 将文本特征与图像特征计算相似概率,得到 p p p
  • p p p与 y y y计算 C E L o s s CE Loss CELoss,得到 G d G_d Gd
  • p p p与 p z s p_{zs} pzs计算 K L L o s s KL Loss KLLoss,得到 G g G_g Gg
  • 将 G d G_d Gd和 G g G_g Gg反传回去,使用 G p r o g r a d G_{prograd} Gprograd更新可学习参数
相关推荐
~kiss~12 小时前
A Survey of On-Policy Distillation for LLMs 学习(一)
学习
forest_0914 小时前
多 Agent 协作第二课:交叉验证≠独立验证
人工智能·python·算法·机器学习·prompt·agi
小杨小杨、努力变强!14 小时前
python学习笔记
笔记·学习
Star(up up up)19 小时前
Redis Windows 安装教程:使用Windows 的 Redis 压缩包
redis·笔记·学习·程序人生·云原生·学习方法·改行学it
乌暮1 天前
Spring AOP 与 Spring 事务:用大白话彻底理解原理与实践
java·数据库·spring boot·后端·sql·学习·spring
syso_稻草人1 天前
qwen-image-2.1 PE 增强编辑:QwenImage21_EditPromptRewrite 一句话中文扩写成完整编辑指令
人工智能·stable diffusion·prompt·comfyui·qwen-image2.1
蒸蒸yyyyzwd1 天前
从邓明学习的后端笔记
笔记·学习
机器学习之心1 天前
基于变量相关图与残差学习的 GCN 多变量回归方法——混凝土 28 天抗压强度预测
学习·回归·gcn
Rabitebla2 天前
【Linux】进程控制(十二) 自定义 Shell(二):内建命令与进程工作目录管理
linux·c++·笔记·学习·bash
Gary移动存储固件2 天前
eMMC5.1协议中文学习讲解(6.6.17~6.6.22.4.6)
学习·ufs·emmc·nand·存储固件