论文略读:Prefix-Tuning: Optimizing Continuous Prompts for Generation

2021 ACL

  • 固定预训练LM,为LM添加可训练,任务特定的前缀
    • 这样就可以为不同任务保存不同的前缀
    • 这种前缀可以看成连续可微的soft prompt,相比于离散的token,更好优化,效果更好
  • 训练的时候只需要更新prefix部分的参数,固定LM部分的参数即可
  • 对于自回归模型,在句子前面添加前缀,得到 z = [PREFIX; x; y]
  • 对于encoder-decoder模型:Encoder和Decoder都增加了前缀,得到 z = [PREFIX; x; PREFIX0; y]
    • Encoder端增加前缀是为了引导输入部分的编码
    • Decoder 端增加前缀是为了引导后续token的生成
    • Prefix-tuning略优于Infix-tuning
      • Infix-tuning形式为 [x; INFIX; y]
      • Prefix-tuning形式为 [PREFIX; x; y]
  • 直接学习参数效果不好,需要使用MLP对Pθ进行reparameter修正
    • Pθ[i,:] = MLP(Pθ'[i,:])
相关推荐
说私域17 分钟前
从品牌附庸到自我表达:定制开发开源AI智能名片S2B2C商城小程序赋能下的营销变革
人工智能·小程序
飞哥数智坊1 小时前
新版定价不够用,Cursor如何退回旧版定价
人工智能·cursor
12点一刻1 小时前
搭建自动化工作流:探寻解放双手的有效方案(2)
运维·人工智能·自动化·deepseek
未来之窗软件服务1 小时前
东方仙盟AI数据中间件使用教程:开启数据交互与自动化应用新时代——仙盟创梦IDE
运维·人工智能·自动化·仙盟创梦ide·东方仙盟·阿雪技术观
JNU freshman2 小时前
计算机视觉速成 之 概述
人工智能·计算机视觉
说私域3 小时前
基于开源AI大模型AI智能名片S2B2C商城小程序源码的私域流量新生态构建
人工智能·开源
HollowKnightZ3 小时前
目标姿态估计综述:Deep Learning-Based Object Pose Estimation: A Comprehensive Survey
人工智能·深度学习
加油吧zkf3 小时前
Conda虚拟环境管理:从入门到精通的常用命令
图像处理·深度学习·计算机视觉·conda
算家计算4 小时前
“28项评测23项SOTA——GLM-4.1V-9B-Thinking本地部署教程:10B级视觉语言模型的性能天花板!
人工智能·开源