P-tuning、Prompt-tuning和Prefix-tuning区别是什么?

概念

Prompt Tuning 是通过在输入序列前添加额外的 Token 来适配下游任务的方法。这些额外的 Token 是可训练的,而预训练语言模型的参数保持不变。
Prefix Tuning 是在每层 Transformer 结构的输入前添加一组可训练的 Token。这样,模型在处理输入序列时,每一层的输入都会包含这些额外的 Token,从而适配下游任务。
P-Tuning 是 Prompt Tuning 的一种变体,其核心思想是在特定位置插入可训练的 Token,使模型能够更好地理解下游任务的需求。P-Tuning 方法通过在输入序列中间插入额外的 Prompt Token,使模型在处理输入时能更好地捕捉上下文信息。

Prefix Tuning对比P-tuning

  • Prefix Tuning是将额外的embedding加在开头,看起来更像模仿Instruction指令,而P-tuning位置不固定;
  • Prefix Tuning通过在每个层都添加可训练参数,通过MLP初始化,而P-Tuning只在输入的时候加入embedding,并通过LSTM或MLP初始化。

Prefix Tuning对比Prompt-tuning

  • Prompt Tuning方式可以看做是Prefix Tuning的简化,只在输入层加入 prompt tokens,并不需要加入MLP进行调整(MLP处理prefix得到hidden state)来解决难训练的问题。

P-tuning和Prompt-tuning的区别

  • P-Tuning在输入的时候加入embedding,并通过LSTM或MLP初始化,且位置不固定,后续的版本中在每个层也都加了embedding,而prompt-tuning值在输入加上虚拟的token来学习,还不是自由参数形式。
相关推荐
m0_5236742112 分钟前
技术前沿:从强化学习到Prompt Engineering,业务流程管理的创新之路
人工智能·深度学习·目标检测·机器学习·语言模型·自然语言处理·数据挖掘
小言从不摸鱼2 小时前
【AI大模型】ELMo模型介绍:深度理解语言模型的嵌入艺术
人工智能·深度学习·语言模型·自然语言处理·transformer
衬衫chenshan3 小时前
【论文阅读】(Security) Assertions by Large Language Models
论文阅读·人工智能·语言模型
小森( ﹡ˆoˆ﹡ )9 小时前
词嵌入方法(Word Embedding)
人工智能·机器学习·自然语言处理·nlp·word·embedding
小嗷犬12 小时前
【论文笔记】The Power of Scale for Parameter-Efficient Prompt Tuning
论文阅读·人工智能·大模型·微调·prompt
DisonTangor18 小时前
AMD-OLMo:在 AMD Instinct MI250 GPU 上训练的新一代大型语言模型。
人工智能·语言模型·自然语言处理
人工智障调包侠18 小时前
Pytorch从0复现worc2vec skipgram模型及fasttext训练维基百科语料词向量演示
人工智能·pytorch·自然语言处理·nlp·word2vec·词向量·skipgram
irrationality21 小时前
昇思大模型平台打卡体验活动:项目5基于MindSpore实现Transformer机器翻译
深度学习·transformer·机器翻译
Soungkayou21 小时前
Safety Assessment of Chinese Large Language Models
人工智能·语言模型·自然语言处理