SELF-INSTRUCT: Aligning Language Models with Self-Generated Instructions

本文是LLM系列文章,针对《SELF-INSTRUCT: Aligning Language Models with Self-Generated Instructions》的翻译。

自我指导:将语言模型与自生成的指令相结合

  • 摘要
  • [1 引言](#1 引言)
  • [2 方法](#2 方法)
  • [3 来自GPT3的自学数据](#3 来自GPT3的自学数据)
  • [4 实验结果](#4 实验结果)
  • [5 相关工作](#5 相关工作)
  • [6 结论](#6 结论)

摘要

大型"指令调整"语言模型(即,微调以响应指令)已经证明了将零样本推广到新任务的显著能力。然而,它们在很大程度上依赖于人类书面指令数据,而这些数据在数量、多样性和创造性方面往往是有限的,因此阻碍了调优模型的通用性。我们介绍了SELFINSTRUCT,这是一个通过自举自己的生成来提高预训练语言模型的指令跟随能力的框架。我们的管道从语言模型中生成指令、输入和输出样本,然后过滤无效或类似的样本,然后使用它们来微调原始模型。将我们的方法应用于普通的GPT3,我们证明了在SUPERNATURALINSTRUCTIONS上比原始模型有33%的绝对改进,与使用私人用户数据和人工注释训练的InstructionGPT001的性能相当。为了进一步评估,我们为新任务策划了一组专家书面指令,并通过人工评估表明,使用SELF-instruction调整GPT3的性能大大优于使用现有公共指令数据集,仅与InstructionGPT001相差5%的绝对差距。SELF-instruction提供了一种几乎无注释的方法,用于将预训练的语言模型与指令对齐,我们发布了我们的大型合成数据集,以促进未来对指令调整的研究

1 引言

2 方法

3 来自GPT3的自学数据

4 实验结果

5 相关工作

6 结论

我们介绍了SELF-instruction,这是一种通过LMs自己生成指令数据来提高其指令跟随能力的方法。在对普通GPT3进行实验时,我们为不同的任务自动构建了一个由52K指令组成的大规模数据集,并在此数据上微调GPT3,使SUPERNI比原始GPT3有33%的绝对改进。此外,我们还为新颖的任务策划了一套专家书面说明。对该集的人工评估表明,使用SELF-instruction调优GPT3的性能大大优于使用现有公共指令数据集,并且与InstructionGPT001的性能非常接近。我们希望"自我指导"可以作为调整预训练的LMs以遵循人类指令的第一步,未来的工作可以建立在这些数据的基础上,以改进指令遵循模型。

相关推荐
xiangduanjava9 分钟前
关于安装Ollama大语言模型本地部署工具
人工智能·语言模型·自然语言处理
zzywxc78729 分钟前
AI 正在深度重构软件开发的底层逻辑和全生命周期,从技术演进、流程重构和未来趋势三个维度进行系统性分析
java·大数据·开发语言·人工智能·spring
超龄超能程序猿32 分钟前
(1)机器学习小白入门 YOLOv:从概念到实践
人工智能·机器学习
大熊背42 分钟前
图像处理专业书籍以及网络资源总结
人工智能·算法·microsoft
江理不变情1 小时前
图像质量对比感悟
c++·人工智能
张较瘦_3 小时前
[论文阅读] 人工智能 + 软件工程 | 需求获取访谈中LLM生成跟进问题研究:来龙去脉与创新突破
论文阅读·人工智能
一 铭4 小时前
AI领域新趋势:从提示(Prompt)工程到上下文(Context)工程
人工智能·语言模型·大模型·llm·prompt
麻雀无能为力7 小时前
CAU数据挖掘实验 表分析数据插件
人工智能·数据挖掘·中国农业大学
时序之心7 小时前
时空数据挖掘五大革新方向详解篇!
人工智能·数据挖掘·论文·时间序列
.30-06Springfield8 小时前
人工智能概念之七:集成学习思想(Bagging、Boosting、Stacking)
人工智能·算法·机器学习·集成学习