Prompt Tuning 和instruct tuning

Prompt Tuning 是啥?

prompt的思想是,把下游任务的输入转化为预训练模型的原始任务。

以bert作为举例,假设任务是文本分类。"今天天气很好。"我们想判断一下这句话的情感是正面还是负面

fine-tune的方法是在bert之后接一个head,然后调整整个模型。

prompt 的方法是把下游任务转化为预训练任务,我们知道bert的预训练任务是MLM,于是把

"今天天气很好。"转化为"今天天气很好。我很maskmask",我们希望bert预测出"开心"两个字。然后对"开心"映射到正面情感。

prompt-tuning:我们知道prompt的方法是把下游任务转化为预训练任务,但是怎么转化效果会好呢。比如如下几种prompt:

1."今天天气很好。我很maskmask"

2."今天天气很好。我非常maskmask"

3."今天天气很好。我的心情是maskmask"

我们并不知道哪种prompt是最好的,于是我们希望模型可以自己去学习,于是就提出了prompt-tuning(提示微调),该方法会固定预训练模型的参数(与fine-tune不同之处),增加额外的参数来训练,常见的方法有prompt-tuning, prefix-tuning, p-tuning,与fine-tune不同,可训练参数一般都是加载embbeding层,而不是加在最后

提示学习Prompt Tuning:面向研究综述 - 知乎

huggingface上的一篇博文也解释的很清楚

Prompt Tuning 出自哪篇论文?

《The Power of Scale for Parameter-Efficient Prompt Tuning》

instruct tuning

instruct tuning (指令微调)是特指对数据有要求的微调,它不是一种微调方法,而是对用一种特定数据来微调的称呼。这种数据的特点是,input是一条指令

例如:

1.帮我写一篇关于XX主题的文章

  1. 将下列内容翻译成英语:{具体内容}

3.根据下面的聊天信息回答问题,{聊天信息},{问题}

而常规数据通常如下:

  1. 极昼是什么?

  2. 怎么减肥

3.熬夜对健康有什么影响?

对比以上两种数据,可以看出特点,指令数据一般是在要求模型干一件事,而常规数据通常是在问模型"是什么"

相关推荐
forest_093 小时前
《AI 编程 Harness 实战手册》04|审批这道门:点了一百次“允许”,还剩多少作用?
人工智能·算法·prompt·agi
火山引擎开发者社区4 小时前
当 RPA 遇上 Agent:MUA 混合执行 Workflow 深度拆解
人工智能
严肃小白兔5 小时前
第 10/24 期:深度神经网络的自动求导机制与梯度验证
人工智能·神经网络·dnn
火山引擎开发者社区5 小时前
定档12.16-12.18!FORCE原动力大会上海见!
人工智能
努力的MM1235 小时前
CAIE 二级和阿里云大模型 ACP 怎么选?企业 AI 工程与云平台开发能力对比
人工智能
老金带你玩AI5 小时前
Kling Image 4.0来了!8K和组图直出,电商人的提效神器?
人工智能
孟健6 小时前
用 unslop 拯救 AI 生成网页的塑料感,7 分钟重构落地实测
前端·人工智能·ai编程
stormzhangV6 小时前
Google 重返第一梯队
人工智能·google·aigc
十有八七6 小时前
手搓 Agent(五):学会翻书——RAG,先查资料再回答
前端·人工智能·后端