文章目录
- 从零预训练一个tiny-llama
-
- [1. 数据集](#1. 数据集)
- [2. 数据预处理](#2. 数据预处理)
- [3. 训练模型](#3. 训练模型)
- [4. 项目结构介绍](#4. 项目结构介绍)
- [5. 运行项目示例](#5. 运行项目示例)
- 学习总结
从零预训练一个tiny-llama
参考项目：https://github.com/KMnO4-zx/tiny-llm
数据集：https://www.modelscope.cn/datasets/AI-ModelScope/TinyStories
1. 数据集
2. 数据预处理
3. 训练模型
4. 项目结构介绍
5. 运行项目示例
学习总结
本次掌握了数据集的预处理，并对预处理后的数据进行训练。了解模型如何基于已有的上下文生成后续 token 的机制。