从零开始训练小型语言模型之minimind

文章目录

从零开始训练小型语言模型之minimind

什么是minimind

github: https://github.com/jingyaogong/minimind

目前市面上的大语言模型动辄上百亿参数,训练成本高昂。就算是自己想学习和研究,也会被巨大的硬件门槛挡在门外。而 MiniMind 通过精妙的设计,把模型参数压缩到了最小,让个人开发者也能亲手训练 AI 模型!

最小版本仅有 26M 大小(约为 GPT-3 的 1/7000),一张普通的游戏显卡就能运行。项目提供了完整的训练流程:

  • 基础语言能力训练(预训练)
  • 对话能力训练(指令微调)
  • 快速适应新任务(LoRA 微调)
  • 优化回答质量(DPO 偏好对齐)

本项目的目标是把上手LLM的门槛无限降低, 直接从0开始训练一个极其轻量的语言模型。

从小模型开始

为什么建议大家从小模型开始,特别是一些开源小模型?

不说大模型数据训练和微调所需要的资金,算力等问题,就大模型训练所需要的训练和微调数据的收集,就已经是一个很大的工程量了。

之所以建议大家刚开始以小模型为主,原因就是因为从技术原理来说,大模型和小模型没有本质上的区别;只不过大模型和小模型由于量变导致的质变,大模型的复杂度与小模型不能同日而语。

而从学习和使用的角度来说,大模型和小模型最大的差距就是对算力的需求;虽然从效果上来说,小模型远不如大模型,但学习和使用小模型能够让我们快速地摸清大模型技术的脉络和主要框架。

最重要的是小模型有很强的实操性,因为其算力成本低,甚至可以在个人电脑上进行部署和运维,而且使用个人电脑也可以对它们进行训练和微调,这样就大大降低了我们的学习难度

相关推荐
盼小辉丶1 分钟前
PyTorch实战(14)——条件生成对抗网络(conditional GAN,cGAN)
人工智能·pytorch·生成对抗网络
Allen_LVyingbo43 分钟前
数智读书笔记系列035《未来医疗:医疗4.0引领第四次医疗产业变革》
人工智能·经验分享·笔记·健康医疗
zzc9211 小时前
时频图数据集更正程序,去除坐标轴白边及调整对应的标签值
人工智能·深度学习·数据集·标签·时频图·更正·白边
isNotNullX1 小时前
什么是数据分析?常见方法全解析
大数据·数据库·数据仓库·人工智能·数据分析
riveting1 小时前
明远智睿H618:开启多场景智慧生活新时代
人工智能·嵌入式硬件·智能硬件·lga封装·3506
夜阑卧听风吹雨,铁马冰河入梦来1 小时前
Spring AI 阿里巴巴学习
人工智能·学习·spring
c7691 小时前
【文献笔记】Automatic Chain of Thought Prompting in Large Language Models
人工智能·笔记·语言模型·论文笔记
Blossom.1182 小时前
机器学习在智能供应链中的应用:需求预测与物流优化
人工智能·深度学习·神经网络·机器学习·计算机视觉·机器人·语音识别
Gyoku Mint2 小时前
深度学习×第4卷:Pytorch实战——她第一次用张量去拟合你的轨迹
人工智能·pytorch·python·深度学习·神经网络·算法·聚类
zzywxc7872 小时前
AI大模型的技术演进、流程重构、行业影响三个维度的系统性分析
人工智能·重构