探索开源MiniMind项目:让大语言模型不再神秘(1)

简介:

声明:本人非此项目作者,仅仅是探索项目,分享项目。如有不妥,请联系我删除!

原项目地址:GitHub - jingyaogong/minimind: 「大模型」3小时完全从0训练26M的小参数GPT,个人显卡即可推理训练!


​

项目的初衷很简单,就是为了让大语言模型不再这么神秘!作者通过简化模型的结构以及训练过程,让模型需要的计算资源个人也可以承担。并且项目提供了从训练到推理的完整过程,可以轻松学习整个项目。

项目中通过更改模型参数设置可以得到三种不同参数大小的模型,具体如下。

​

快速体验 :

MiniMind (ModelScope)

项目作者的环境配置:

​

模型架构:

项目训练时间

训练过程

  1. **预训练:**预训练就是让Model先埋头苦学大量基本的知识,例如从维基百科、新闻、常识、书籍等。
  2. **单轮次对话有监督微调:**让模型学会单次对话。
  3. **多轮对话微调:**让模型可以像人一样根据历史回答进行谈话。
  4. **人类反馈强化学习(RLHF)之-直接偏好优化:**使模型更符合人的偏好,给出更让人满意的回答。

免费GPU算力分享:

这个项目完全可以在一些提供算力资源的平台免费运行。以下是我亲自体验过的一些平台,它们提供了从入门级到高端的多样化显卡资源,可以满足不同层次的算力需求:

平台名称 特点 优惠活动 链接 推荐程度(星)
FunHPC 适合长期白嫖使用 注册可得15代金券;学生认证后,P4显卡免费用(无限次使用) FunHPC ★★★★★
趋动云 有很多大力度活动,可以轻松获得几百算力。 注册得到10元算力金;充值20元可以得到190元算力金 趋动云 ★★★★★
蓝耘 不用充值,门槛低 注册直接得到30元无门槛代金券 蓝耘 ★★★★☆
恒源云 适合学生长期用,不适合白嫖需要充值才能白嫖,有很多门槛 注册可得30元代金券,但是得充值,而且有效前很短。 恒源云 ★☆☆☆☆

总结

这是一个极具价值的大型语言模型学习项目,值得您的关注和推荐。本文仅作为初步介绍,旨在为您揭开该项目的神秘面纱。在未来,我们将持续深入探索并分享更多关于该项目的详细信息。敬请期待,并保持关注,以便不错过任何精彩内容。

相关推荐
oak隔壁找我3 小时前
一款运行在 DSH(DeepSeek Harness)中的类 Postman HTTP 接口调试插件
人工智能·程序员
高洁013 小时前
数字孪生与计算机视觉:让机器看懂现场
人工智能·python·机器学习·transformer·迁移学习
β添砖java3 小时前
NLP自然语言处理4:迁移学习:fasttext工具,训练词向量、词向量迁移、迁移学习概念、NLP中常用预训练模型、transformer库使用、迁移学习实践
自然语言处理·transformer·迁移学习
Csvn3 小时前
如果明天供应商涨价 3 倍?三层解耦,换模型只改一行配置(C05)
人工智能·aigc·agent
在所不辞兄4 小时前
为什么数字孪生驱动的产线标定需要在线更新机制,而不能一次标定后长期沿用?
人工智能·神经网络·其他·算法·机器学习
锋行天下5 小时前
langgraph 全栈项目(三)
前端·人工智能·后端
黄啊码5 小时前
【黄啊码】最近面了十几个想转 FDE 的程序员,一个都没招
人工智能
锋行天下5 小时前
langgraph 全栈项目(二)
前端·人工智能·后端
大模型真好玩5 小时前
用 Seedance 2.5 Flash 实现1分钟AI短剧,满足孩子的超级英雄对战梦
人工智能·aigc·deepseek
FengY_HYY6 小时前
从人类组织到人类&大模型组织,我的位置在哪里?
人工智能·程序员·llm