[阅读笔记2][FLAN]FINETUNED LANGUAGE MODELS ARE ZERO-SHOT LEARNERS

接下来这篇是谷歌的FLAN,提出了指令微调这一新范式,在2022年发表。

这篇论文指出GPT3的zero-shot性能相比few-shot性能差太多了。他们发现如果对预训练模型进行指令微调能使zero-shot性能显著提升,下面右图显示指令微调后zero-shot比GPT3 few-shot性能都要强。

左图解释了指令微调,就是把输入转化为指令的格式,然后再去不相关的任务上做微调,最后却能提升没见过任务的性能。

指令微调是将前两种范式进行了结合,提升了语言模型在推理时的交互响应。

第一种范式就是预训练微调范式,针对特定任务需要特定数据集来微调。

第二种范式是gpt3提出的prompting范式,把任务相关的示例输入给模型,利用模型上下文学习能力来得到想要的输出。

第三种就是本文提出的指令微调范式,可以显著提升模型的zero-shot能力。

微调一共使用了62个文本数据集,每个数据集又属于不同任务,按照任务分类可以分为12类。为了测试模型的zero-shot能力,他这里定义了一下没见过的任务,他认为只有任务类中所有数据集都没见过,那这个任务才算是没见过的任务。以自然语言推理任务为例,使用剩余11个任务类中数据集进行微调,然后自然语言推理任务中的数据集作为测试集进行测试。

对于每一个数据集,作者又定义了10个不同的输入模板,这是为了防止模型对某一特定输入过拟合。但后续实验证明效果不明显。

模型使用的是LaMDA的预训练版本,然后对其进行指令微调。下图是FLAN的zero-shot性能,虽然模型不如GPT3大,但是性能却比GPT3要好。

作者做了三个消融实验,第一个是考虑参与微调的任务类数量,如图中所示,随着微调的其他任务增多,模型平均性能持续上升。第二个消融是考虑模型大小,对于大模型指令微调才有性能提升的作用,对于小模型反而性能变差了,对于这点可能的解释是对小模型微调会挤占参数空间,造成预训练的通用知识遗忘。

最后一个消融是考虑指令格式的作用,因为性能提升也可能单纯因为进行了微调,扩大了参与训练的语料。以翻译任务为例,作者将模型输入分为了三种格式,第一种就是简单输入待翻译句子,第二种先输入任务名再输入数据集名最后是句子,第三种就是指令格式。可以看到还是使用指令格式的输入性能最好,也就是说模型提升纯粹是因为指令这种格式。

相关推荐
weiwenhao19 分钟前
关于 nature 编程语言
人工智能·后端·开源
神经星星20 分钟前
训练成本29.4万美元,DeepSeek-R1登Nature封面,首个通过权威期刊同行评审的主流大模型获好评
人工智能
神州问学24 分钟前
【AI洞察】别再只想着“让AI听你话”,人类也需要学习“适应AI”!
人工智能
DevUI团队44 分钟前
🚀 MateChat V1.8.0 震撼发布!对话卡片可视化升级,对话体验全面进化~
前端·vue.js·人工智能
聚客AI1 小时前
🎉7.6倍训练加速与24倍吞吐提升:两项核心技术背后的大模型推理优化全景图
人工智能·llm·掘金·日新计划
黎燃1 小时前
当 YOLO 遇见编剧:用自然语言生成技术把“目标检测”写成“目标剧情”
人工智能
算家计算1 小时前
AI教母李飞飞团队发布最新空间智能模型!一张图生成无限3D世界,元宇宙越来越近了
人工智能·资讯
掘金一周1 小时前
Flutter Riverpod 3.0 发布,大规模重构下的全新状态管理框架 | 掘金一周 9.18
前端·人工智能·后端
用户5191495848452 小时前
C#记录类型与集合的深度解析:从默认实现到自定义比较器
人工智能·aigc
IT_陈寒5 小时前
React 18实战:7个被低估的Hooks技巧让你的开发效率提升50%
前端·人工智能·后端