P-tuning、Prompt-tuning和Prefix-tuning区别是什么?

概念

Prompt Tuning 是通过在输入序列前添加额外的 Token 来适配下游任务的方法。这些额外的 Token 是可训练的,而预训练语言模型的参数保持不变。
Prefix Tuning 是在每层 Transformer 结构的输入前添加一组可训练的 Token。这样,模型在处理输入序列时,每一层的输入都会包含这些额外的 Token,从而适配下游任务。
P-Tuning 是 Prompt Tuning 的一种变体,其核心思想是在特定位置插入可训练的 Token,使模型能够更好地理解下游任务的需求。P-Tuning 方法通过在输入序列中间插入额外的 Prompt Token,使模型在处理输入时能更好地捕捉上下文信息。

Prefix Tuning对比P-tuning

  • Prefix Tuning是将额外的embedding加在开头,看起来更像模仿Instruction指令,而P-tuning位置不固定;
  • Prefix Tuning通过在每个层都添加可训练参数,通过MLP初始化,而P-Tuning只在输入的时候加入embedding,并通过LSTM或MLP初始化。

Prefix Tuning对比Prompt-tuning

  • Prompt Tuning方式可以看做是Prefix Tuning的简化,只在输入层加入 prompt tokens,并不需要加入MLP进行调整(MLP处理prefix得到hidden state)来解决难训练的问题。

P-tuning和Prompt-tuning的区别

  • P-Tuning在输入的时候加入embedding,并通过LSTM或MLP初始化,且位置不固定,后续的版本中在每个层也都加了embedding,而prompt-tuning值在输入加上虚拟的token来学习,还不是自由参数形式。
相关推荐
遇码23 分钟前
大语言模型开发框架——LangChain
人工智能·语言模型·langchain·llm·大模型开发·智能体
誉鏐27 分钟前
从零开始设计Transformer模型(1/2)——剥离RNN,保留Attention
人工智能·深度学习·transformer
a里啊里啊1 小时前
AI提示词收集(持续更新)
ai·大模型·prompt·开发·提示词
碳基学AI1 小时前
哈尔滨工业大学DeepSeek公开课:探索大模型原理、技术与应用从GPT到DeepSeek|附视频与讲义免费下载方法
大数据·人工智能·python·gpt·算法·语言模型·集成学习
Chaos_Wang_2 小时前
NLP高频面试题(三十三)——Vision Transformer(ViT)模型架构介绍
人工智能·自然语言处理·transformer
船长@Quant15 小时前
PyTorch量化进阶教程:第六章 模型部署与生产化
pytorch·python·深度学习·transformer·量化交易·sklearn·ta-lib
weixin_4352081615 小时前
论文浅尝 | Interactive-KBQA:基于大语言模型的多轮交互KBQA(ACL2024)
人工智能·语言模型·自然语言处理
姚瑞南17 小时前
从模糊感知到量化评估:构建一个Prompt打分工具
人工智能·自然语言处理·chatgpt·prompt·aigc
人工智能培训咨询叶梓17 小时前
LLAMAFACTORY:一键优化大型语言模型微调的利器
人工智能·语言模型·自然语言处理·性能优化·调优·大模型微调·llama factory
猪猪的超超21 小时前
从吉卜力漫画到艺术创造:GPT-4o多种风格绘图Prompt大全
人工智能·prompt·文生图·gpt-4o