【LLM】从零预训练一个tiny-llama

文章目录

• 从零预训练一个tiny-llama
• • [1. 数据集](#1. 数据集)
  • [2. 数据预处理](#2. 数据预处理)
  • [3. 训练模型](#3. 训练模型)
  • [4. 项目结构介绍](#4. 项目结构介绍)
  • [5. 运行项目示例](#5. 运行项目示例)
  • 学习总结

从零预训练一个tiny-llama

参考项目：https://github.com/KMnO4-zx/tiny-llm

数据集：https://www.modelscope.cn/datasets/AI-ModelScope/TinyStories

1. 数据集

2. 数据预处理

3. 训练模型

4. 项目结构介绍

5. 运行项目示例

学习总结

本次掌握了数据集的预处理，并对预处理后的数据进行训练。了解模型如何基于已有的上下文生成后续 token 的机制。