基于Alpaca-CoT的LLM中文指令微调实证研究

【OpenMMLab 社区开放麦】开播啦!!!技术下饭番追起来,每周一个新芝士。欢迎广大社区同学加入直播间参与讨论的同时,也非常鼓励社区同学拿起话筒登上舞台,社区知识开放麦等你来玩~

本期精彩速递

大模型的指令微调在 NLP 领域中已成为重要研究主题。然而,针对大模型的指令微调存在三个层面的门槛:1. 数据层面:指令微调的数据选择和整合;2.计算效率层面:LLM 指令微调需要较高的计算资源需求;3.模型层面:不同的开源模型有着不同的 codebase,难以简单切换和对比。为了解决这些问题,本期社区开放麦特意邀请到Alpaca-CoT 团队,来分享关于多接口统一的大模型指令微调平台的相关内容。

分享大纲

  • 大模型指令微调的前生今世

  • Alpaca-CoT: 多接口统一的大模型轻量级指令微调平台

  • LLM 中文指令微调的实证研究

  • Alpaca-CoT 未来计划和展望

分享时间

北京时间

2023 年 12 月 28 日(周四)

20: 00 - 20: 40(分享)

20: 40 - 21: 00(Q&A)

分享嘉宾

佀庆一,中国科学院大学,信息工程研究所博士生,研究方向包括多模态,大模型,鲁棒性等。

内容详情

在数据层面, Alpaca-CoT 收集和整理了 1.2 亿条样本,涉及到 2000+任务类别,包含 CoT,中文指令数据,role playing 等,收集的部分数据集如下图所示。

在计算效率层面,Alpaca-CoT 整合进来 prompt modification (如prefix tuning),reparameterization(如LoRA)以及 Adapter methods(如Parallel Adapter)三大类,共近 10 种参数效率方法。这三类参数效率方法的不同如下图所示。由于 Alpaca-CoT 是在 hugging face 的基础上开发而成的,所以 hugging face 支持的一些分布式方法(如Deepspeed 的 ZeRO1,2,3)和量化方法(如 Int8-bitsandbytes)在 Alpaca-CoT 中也同样支持。

在大模型接口层面,我们集成了十数种开源 LLM,并将这些模型和上述参数效率方法双向适配,仅需要更换超参数和对应的权重路径即可更换不同的 LLM。下图展示了我们已经集成进来的所有 LLM,后续我们将持续集成更多。

Alpaca-CoT 的初衷是无限降低研究人员使用和研究 LLM 的门槛,因此是完全开源和开放的,欢迎大家加入我们,共同不断维护和改进该平台,以促进大模型研究的民主化。任何有意义的改进我们都会考虑 merge 进来,欢迎向我们发起任何有意义的 PR,成为 Alpaca-CoT 的 contributor 之一!

近几个月,开源社区对大模型的指令微调相关的工作越来越多,然而,对世界上最常用的语言---中文的指令微调系统性研究仍处于早期阶段。因此,我们基于以上 Alpaca-CoT 平台对 LLM 的中文指令微调进行了深入的实证研究,可以作为一个指南书,整理出开源社区有哪些数据,哪些效率方法,哪些 LLM 分别表现如何,擅长哪些能力,为有效定制能够更好地响应中文指令的 LLM 提供有价值的发现。具体来说,我们系统地探讨了不同 LLM、参数效率方法和不同指令微调数据类型(三个最重要的元素)的影响。此外,我们还开展实验来研究大模型中其他重要元素的影响,如 CoT 数据、中文词表扩充、人类价值观对齐等。我们希望这一实证研究能够为中文开源大模型做出微薄的贡献。

想了解更多精彩内容,记得扫描海报上方二维码订阅直播,本周四晚八点开放麦不见不散哦~

相关工作

相关资料

An Empirical Study of Instruction-tuning Large Language Models in Chinese

paper:

aclanthology.org/2023.findin...

Code:

https:// github.com/PhoebusSi/A...

相关推荐
文火冰糖的硅基工坊31 分钟前
[嵌入式系统-100]:常见的IoT(物联网)开发板
人工智能·物联网·架构
刘晓倩1 小时前
实战任务二:用扣子空间通过任务提示词制作精美PPT
人工智能
shut up1 小时前
LangChain - 如何使用阿里云百炼平台的Qwen-plus模型构建一个桌面文件查询AI助手 - 超详细
人工智能·python·langchain·智能体
Hy行者勇哥1 小时前
公司全场景运营中 PPT 的类型、功能与作用详解
大数据·人工智能
FIN66682 小时前
昂瑞微:实现精准突破,攻坚射频“卡脖子”难题
前端·人工智能·安全·前端框架·信息与通信
FIN66682 小时前
昂瑞微冲刺科创板:硬科技与资本市场的双向奔赴
前端·人工智能·科技·前端框架·智能
m0_677034352 小时前
机器学习-推荐系统(下)
人工智能·机器学习
XIAO·宝2 小时前
深度学习------专题《神经网络完成手写数字识别》
人工智能·深度学习·神经网络
流年染指悲伤、2 小时前
2024年最新技术趋势分析:AI、前端与后端开发新动向
人工智能·前端开发·后端开发·2024·技术趋势
乐迪信息2 小时前
乐迪信息:基于AI算法的煤矿作业人员安全规范智能监测与预警系统
大数据·人工智能·算法·安全·视觉检测·推荐算法