minimind

MiniMind学习笔记（三）--train_pretrain.py（预训练）train_pretrain.py是MiniMind项目中用于预训练的主脚本,负责模型的预训练流程。train_pretrain.py文件整个分了2部分，第一部分是一个函数，

MiniMind学习笔记（零）--基础概念分词器的作用是切分用户输入。比如用户输入 "今天天气怎么样"，分词器可能会将其分成数组：["今", "天", "天", "气", "怎", "么", "样"]。根据词汇表不同，不同的模型可能有不同的切法。

MiniMind学习笔记（二）--model_minimind.py目录一，MiniMind Config部分1，MiniMindConfig的父类PretrainedConfig

MiniMind 第 4 篇：《数据工程｜Tokenizer 训练 + 预训练 / SFT/DPO 全数据集处理》承接上一篇内容：我们拆解了 MiniMind 底层核心架构，吃透了 RMSNorm、SwiGLU、RoPE 三大组件的工程实现与优化逻辑。现在，终于轮到 LLM 最关键的「粮草」—— 数据工程。

MiniMind学习笔记--安装部署如果电脑上没有任何相关组件，安装过程还是挺麻烦的，有各种各样的组件需要安装，还有各种各样的配置需要调整和配置。

低配置电脑预训练minimind的实践minimind是一个轻量级的LLM大语言模型，项目的初衷是拉低LLM的学习门槛，让每个人都能从理解每一行代码开始，从零开始亲手训练一个极小的语言模型。对于很多初学者而言，电脑配置仅能够满足日常工作，为了学习大预言模型，特别是在入门和学习基本原理阶段，用低配置的电脑能不能进行minimind模型的预训练呢？答案是可以，下面笔者一步一步来展示预训练的过程。

Minimind 训练一个自己专属语言模型发现了一个宝藏项目，宣传是完全从0开始，仅用3块钱成本 + 2小时！即可训练出仅为25.8M的超小语言模型MiniMind，最小版本体积是 GPT-3 的 17000，做到最普通的个人GPU也可快速训练

MiniMind - 从0训练语言模型《AI 技术资讯分享》扫码入群：https://www.yuque.com/yizhi-lentn/zctmmg/xpamt1qpp2xv8q8b

我是有底线的