Prompt Tuning 和instruct tuning

Prompt Tuning 是啥?

prompt的思想是,把下游任务的输入转化为预训练模型的原始任务。

以bert作为举例,假设任务是文本分类。"今天天气很好。"我们想判断一下这句话的情感是正面还是负面

fine-tune的方法是在bert之后接一个head,然后调整整个模型。

prompt 的方法是把下游任务转化为预训练任务,我们知道bert的预训练任务是MLM,于是把

"今天天气很好。"转化为"今天天气很好。我很[mask][mask]",我们希望bert预测出"开心"两个字。然后对"开心"映射到正面情感。

prompt-tuning:我们知道prompt的方法是把下游任务转化为预训练任务,但是怎么转化效果会好呢。比如如下几种prompt:

1."今天天气很好。我很[mask][mask]"

2."今天天气很好。我非常[mask][mask]"

3."今天天气很好。我的心情是[mask][mask]"

我们并不知道哪种prompt是最好的,于是我们希望模型可以自己去学习,于是就提出了prompt-tuning(提示微调),该方法会固定预训练模型的参数(与fine-tune不同之处),增加额外的参数来训练,常见的方法有prompt-tuning, prefix-tuning, p-tuning,与fine-tune不同,可训练参数一般都是加载embbeding层,而不是加在最后

提示学习Prompt Tuning:面向研究综述 - 知乎

huggingface上的一篇博文也解释的很清

Prompt Tuning 出自哪篇论文?

《The Power of Scale for Parameter-Efficient Prompt Tuning》

instruct tuning

instruct tuning (指令微调)是特指对数据有要求的微调,它不是一种微调方法,而是对用一种特定数据来微调的称呼。这种数据的特点是,input是一条指令

例如:

1.帮我写一篇关于XX主题的文章

  1. 将下列内容翻译成英语:{具体内容}

3.根据下面的聊天信息回答问题,{聊天信息},{问题}

而常规数据通常如下:

  1. 极昼是什么?

  2. 怎么减肥

3.熬夜对健康有什么影响?

对比以上两种数据,可以看出特点,指令数据一般是在要求模型干一件事,而常规数据通常是在问模型"是什么"

相关推荐
蹦蹦跳跳真可爱5894 分钟前
Python----循环神经网络(Transformer ----注意力机制)
人工智能·深度学习·nlp·transformer·循环神经网络
空中湖2 小时前
tensorflow武林志第二卷第九章:玄功九转
人工智能·python·tensorflow
lishaoan772 小时前
使用tensorflow的线性回归的例子(七)
人工智能·tensorflow·线性回归
千宇宙航5 小时前
闲庭信步使用SV搭建图像测试平台:第三十一课——基于神经网络的手写数字识别
图像处理·人工智能·深度学习·神经网络·计算机视觉·fpga开发
onceco6 小时前
领域LLM九讲——第5讲 为什么选择OpenManus而不是QwenAgent(附LLM免费api邀请码)
人工智能·python·深度学习·语言模型·自然语言处理·自动化
天水幼麟6 小时前
动手学深度学习-学习笔记(总)
笔记·深度学习·学习
jndingxin8 小时前
OpenCV CUDA模块设备层-----高效地计算两个 uint 类型值的带权重平均值
人工智能·opencv·计算机视觉
天水幼麟8 小时前
动手学深度学习-学习笔记【二】(基础知识)
笔记·深度学习·学习
Sweet锦9 小时前
零基础保姆级本地化部署文心大模型4.5开源系列
人工智能·语言模型·文心一言
hie988949 小时前
MATLAB锂离子电池伪二维(P2D)模型实现
人工智能·算法·matlab