论文略读:Prefix-Tuning: Optimizing Continuous Prompts for Generation

2021 ACL

  • 固定预训练LM,为LM添加可训练,任务特定的前缀
    • 这样就可以为不同任务保存不同的前缀
    • 这种前缀可以看成连续可微的soft prompt,相比于离散的token,更好优化,效果更好
  • 训练的时候只需要更新prefix部分的参数,固定LM部分的参数即可
  • 对于自回归模型,在句子前面添加前缀,得到 z = [PREFIX; x; y]
  • 对于encoder-decoder模型:Encoder和Decoder都增加了前缀,得到 z = [PREFIX; x; PREFIX0; y]
    • Encoder端增加前缀是为了引导输入部分的编码
    • Decoder 端增加前缀是为了引导后续token的生成
    • Prefix-tuning略优于Infix-tuning
      • Infix-tuning形式为 [x; INFIX; y]
      • Prefix-tuning形式为 [PREFIX; x; y]
  • 直接学习参数效果不好,需要使用MLP对Pθ进行reparameter修正
    • Pθ[i,:] = MLP(Pθ'[i,:])
相关推荐
在猴站学算法2 小时前
机器学习(西瓜书) 第二章 模型评估与选择
人工智能·机器学习
科技宅说3 小时前
36氪专访丨乐橙CEO谢运:AI科技下的业务创新与长期主义下的品牌坚守
人工智能·科技
学术小八4 小时前
2025年人工智能、虚拟现实与交互设计国际学术会议
人工智能·交互·vr
仗剑_走天涯5 小时前
基于pytorch.nn模块实现线性模型
人工智能·pytorch·python·深度学习
cnbestec6 小时前
协作机器人UR7e与UR12e:轻量化设计与高负载能力助力“小而美”智造升级
人工智能·机器人·协作机器人·ur协作机器人·ur7e·ur12e
zskj_zhyl6 小时前
毫米波雷达守护银发安全:七彩喜跌倒检测仪重构居家养老防线
人工智能·安全·重构
gaosushexiangji7 小时前
利用sCMOS科学相机测量激光散射强度
大数据·人工智能·数码相机·计算机视觉
ai小鬼头8 小时前
AIStarter新版重磅来袭!永久订阅限时福利抢先看
人工智能·开源·github
说私域9 小时前
从品牌附庸到自我表达:定制开发开源AI智能名片S2B2C商城小程序赋能下的营销变革
人工智能·小程序
飞哥数智坊10 小时前
新版定价不够用,Cursor如何退回旧版定价
人工智能·cursor