SELF-INSTRUCT: Aligning Language Modelswith Self-Generated Instructions 学习

指令微调就是要训练模型执行用户的要求的能力。

文章首先说"指令微调"数据集经常是人工生成,有数量少等缺点。文章提供了一个让语言模型自己生成指令微调数据,自己学习的方法。首先会让一个语言模型自己生成要求,输入和输出,然后去除低质量,重复的例子,得到的数据集再去训练这个语言模型。接下来是流程中的一些细节:

1,从人工生成的初始任务池中选出8个的instruction作为例子交给模型,让它生成类似的instruction。

如图,给8个实例,然后让模型继续生成。

2,让模型分辨这个instruction是不是分类任务。

如图,给模型几个例子,让他知道什么叫分类任务,什么叫非分类任务,然后然他分辨一下自己刚刚生成的任务是不是分类任务。

3,实例生成,也就是input,output的生成。这一步中,第二步的工作就要发挥作用了。文章表示在分类任务中,先生成output再生成input更好,其他的任务都是先生成input再生成output。

4.筛选。文章使用ROUGE-L similarity(Rouge-L是基于最长公共子序列的相似度评价指标。 它寻找参考摘要和文摘之间的最长公共子序列,并计算其相似度分数。)计算新instruction和已有instruction之间的相似度,只有新instruction和每一个旧instruction相似度都不超过0.7的时候它才会被采纳。在input,output方面,筛掉和旧例子完全一样或者input一样output不一样的。

5.微调。把新得到的数据喂给模型,多弄一些花样(比如修改一下格式之类的)给他训练

基本结构就是这样,接下来是收集到的数据的统计。

下面是收集到的任务信息的统计:

作者还研究了一下这些instruction当中最常见的动词和名词

这些词汇可以表现instruction多样性的程度。

还要检查新产生的这些任务相较于原始的任务池有多大差别,依旧是使用ROUGE-L算法计算相似度。

可以看到大部分都集中在0.2到0.4,相似度较低。

还统计了instruction的长度之类的信息。

总而言之,论文用这些数据来证明模型新产生的数据是足够多样化,且与原有数据差别够大的。接下来就要衡量这些数据质量够不够高。

为了衡量得到数据的质量,项目组随机选择了200个instruction,每个instruction随便选一个inputoutput对,然后请了项目组的老大来评价这些数据:

最终正确率为54%,不过作者说即使最终正确率不高,至少大部分样例是部分正确的,可以用来训练模型。

接下来是实验这些数据有没有用:

相关推荐
惯导马工1 天前
【论文导读】ORB-SLAM3:An Accurate Open-Source Library for Visual, Visual-Inertial and
深度学习·算法
隐语SecretFlow2 天前
国人自研开源隐私计算框架SecretFlow,深度拆解框架及使用【开发者必看】
深度学习
2303_Alpha2 天前
SpringBoot
笔记·学习
萘柰奈2 天前
Unity学习----【进阶】TextMeshPro学习(三)--进阶知识点(TMP基础设置,材质球相关,两个辅助工具类)
学习·unity
沐矢羽2 天前
Tomcat PUT方法任意写文件漏洞学习
学习·tomcat
好奇龙猫2 天前
日语学习-日语知识点小记-进阶-JLPT-N1阶段蓝宝书,共120语法(10):91-100语法+考え方13
学习
Billy_Zuo3 天前
人工智能深度学习——卷积神经网络(CNN)
人工智能·深度学习·cnn
羊羊小栈3 天前
基于「YOLO目标检测 + 多模态AI分析」的遥感影像目标检测分析系统(vue+flask+数据集+模型训练)
人工智能·深度学习·yolo·目标检测·毕业设计·大作业
l12345sy3 天前
Day24_【深度学习—广播机制】
人工智能·pytorch·深度学习·广播机制
向阳花开_miemie3 天前
Android音频学习(十八)——混音流程
学习·音视频