SELF-INSTRUCT: Aligning Language Modelswith Self-Generated Instructions 学习

指令微调就是要训练模型执行用户的要求的能力。

文章首先说"指令微调"数据集经常是人工生成,有数量少等缺点。文章提供了一个让语言模型自己生成指令微调数据,自己学习的方法。首先会让一个语言模型自己生成要求,输入和输出,然后去除低质量,重复的例子,得到的数据集再去训练这个语言模型。接下来是流程中的一些细节:

1,从人工生成的初始任务池中选出8个的instruction作为例子交给模型,让它生成类似的instruction。

如图,给8个实例,然后让模型继续生成。

2,让模型分辨这个instruction是不是分类任务。

如图,给模型几个例子,让他知道什么叫分类任务,什么叫非分类任务,然后然他分辨一下自己刚刚生成的任务是不是分类任务。

3,实例生成,也就是input,output的生成。这一步中,第二步的工作就要发挥作用了。文章表示在分类任务中,先生成output再生成input更好,其他的任务都是先生成input再生成output。

4.筛选。文章使用ROUGE-L similarity(Rouge-L是基于最长公共子序列的相似度评价指标。 它寻找参考摘要和文摘之间的最长公共子序列,并计算其相似度分数。)计算新instruction和已有instruction之间的相似度,只有新instruction和每一个旧instruction相似度都不超过0.7的时候它才会被采纳。在input,output方面,筛掉和旧例子完全一样或者input一样output不一样的。

5.微调。把新得到的数据喂给模型,多弄一些花样(比如修改一下格式之类的)给他训练

基本结构就是这样,接下来是收集到的数据的统计。

下面是收集到的任务信息的统计:

作者还研究了一下这些instruction当中最常见的动词和名词

这些词汇可以表现instruction多样性的程度。

还要检查新产生的这些任务相较于原始的任务池有多大差别,依旧是使用ROUGE-L算法计算相似度。

可以看到大部分都集中在0.2到0.4,相似度较低。

还统计了instruction的长度之类的信息。

总而言之,论文用这些数据来证明模型新产生的数据是足够多样化,且与原有数据差别够大的。接下来就要衡量这些数据质量够不够高。

为了衡量得到数据的质量,项目组随机选择了200个instruction,每个instruction随便选一个inputoutput对,然后请了项目组的老大来评价这些数据:

最终正确率为54%,不过作者说即使最终正确率不高,至少大部分样例是部分正确的,可以用来训练模型。

接下来是实验这些数据有没有用:

相关推荐
FuckTheWindows2 分钟前
Transformer中Decoder模块是如何预测下一个字符的算法
深度学习·算法·transformer
Hug Freedom.19 分钟前
RISC-V AIA学习3---APLIC第三部分
学习·risc-v
Komorebi.py21 分钟前
RCE学习:一些技巧
学习·安全·rce
vegetable\chicken41 分钟前
ENSP学习day11
运维·网络·学习
咕咕123451 小时前
学习《JS数据结构与算法》
学习
·醉挽清风·1 小时前
学习笔记—数据结构—二叉树顺序实现(小堆)
c语言·数据结构·c++·笔记·学习·算法
牙牙要健康1 小时前
【目标检测】【深度学习】【Pytorch版本】YOLOV1模型算法详解
pytorch·深度学习·目标检测
码农葫芦侠2 小时前
GitLab CI/CD学习教程(第四章gitlab-ci.yml)
学习·ci/cd·gitlab
Rsecret22 小时前
个人学习编程(3-24) 数据结构
学习·算法
nenchoumi31193 小时前
Pytorch学习笔记(十一)Learning PyTorch - What is torch.nn really
pytorch·笔记·学习