从0手撸大模型计划

项目动机

自从ChatGPT横空出世带火了大模型之后,开源社区也随之蓬勃发展起来。

但一直以来训练大模型都是数据和硬件资源齐全的大厂、研究院才玩儿得起的.

大多普通的从业者能接触到的更多是下游应用,更别提苦逼的学生党🤷‍♂️。

所以关于模型训练的很多技术可能都只是停留在对一些开源模型的技术报告的阅读中。

但毕竟理论学习不如实操来得扎实,自己动手👨‍💻完成一个大模型训练的完整流程无疑能大大巩固对技术细节的理解。

大体计划

其实若是以流程学习为目的,数据集和硬件资源的限制都可以通过缩减模型尺寸来规避.

我也一直有这个计划动手尝试一番,只是迟迟未能付诸实践。

这次算是逼自己一把,++在这里立个flag⛳️,希望每天行动一点点🤏,欢迎大家都来监督、催更、讨论。++

项目目标

  • • 用小数据集从头训练一个小尺寸的模型🤖
  • • 尽量覆盖data、tokenizer、pretrain、sft、DPO/RLHF等主流的流程🔀
  • • 为了防止半途而废,不追求实现速度,只求每次能有所进展🎯
  • • 每次的进度都尽量有所记录,包括信息搜集、代码实现、踩坑过程🕳
  • • 但计划的主要目的是走通工程流程,因此过程中不会过多深入理论细节📚

结果预期

    1. 能得到一个有一定效果的小尺寸模型,比如能进行一定程度的生成或对话💬
    1. 过程按进度梳理成完整的jupyter notebook和python文件,代码尽可能注释详尽,同时包含一些自己遇到的要点的笔记说明或资料链接🔗
    1. 如果能顺利达成上面的内容,再考虑后续的新计划(例如lora、ptuning等的实践)
    1. 由于只是普通打工人一个,能用来执行计划的时间确实很有限,所以不设置deadline,而是尽量持续更新进度,争取2-3天一更

坚持不易,感兴趣的朋友欢迎关注催更,监督这个计划的执行,更欢迎一起讨论学习🤝

相关推荐
北京搜维尔科技有限公司6 分钟前
搜维尔科技:【应用】Xsens在荷兰车辆管理局人体工程学评估中的应用
人工智能·安全
@小博的博客8 分钟前
C++初阶学习第十弹——深入讲解vector的迭代器失效
数据结构·c++·学习
说私域9 分钟前
基于开源 AI 智能名片 S2B2C 商城小程序的视频号交易小程序优化研究
人工智能·小程序·零售
YRr YRr9 分钟前
深度学习:Transformer Decoder详解
人工智能·深度学习·transformer
知来者逆14 分钟前
研究大语言模型在心理保健智能顾问的有效性和挑战
人工智能·神经网络·机器学习·语言模型·自然语言处理
云起无垠23 分钟前
技术分享 | 大语言模型赋能软件测试:开启智能软件安全新时代
人工智能·安全·语言模型
老艾的AI世界37 分钟前
新一代AI换脸更自然,DeepLiveCam下载介绍(可直播)
图像处理·人工智能·深度学习·神经网络·目标检测·机器学习·ai换脸·视频换脸·直播换脸·图片换脸
南宫生1 小时前
贪心算法习题其四【力扣】【算法学习day.21】
学习·算法·leetcode·链表·贪心算法
翔云API1 小时前
PHP静默活体识别API接口应用场景与集成方案
人工智能
浊酒南街1 小时前
吴恩达深度学习笔记:卷积神经网络(Foundations of Convolutional Neural Networks)4.9-4.10
人工智能·深度学习·神经网络·cnn