NanoGPT 是由 Andrej Karpathy（前特斯拉 AI 总监）开源的一个 极简版 GPT（Generative Pre-trained Transformer）实现 。
它的目标不是直接用于大规模商业应用，而是 教育、研究和实验，帮助人们理解 GPT 模型的核心原理。
特点：
-
代码简洁、结构清晰，便于阅读。
-
模型规模小，适合在个人电脑上训练和测试。
-
使用 PyTorch 实现，方便修改和扩展。
Github 地址：https://github.com/karpathy/nanoGPT#
-
使用 Anaconda 创建 python 虚拟环境
conda create --prefix D:\conda_envs\nanoGPT python=3.9
--prefix：指定虚拟环境安装的位置
我的电脑是 RTX5060 CUDA12.8，下载如下版本的 pytorch
pip3 install --pre torch torchvision torchaudio --index-url https://download.pytorch.org/whl/nightly/cu128
或 Anaconda Prompt 中运行：python -m pip install --pre torch torchvision torchaudio --index-url https://download.pytorch.org/whl/nightly/cu128安装代码的相关依赖
pip install tiktoken -
拉取代码
git clone https://github.com/karpathy/nanoGPT.git
-
运行
python data/shakespeare_char/prepare.py
在 config/train_shakespeare_char.py 文件中加上 compile = False，再运行
python train.py config/train_shakespeare_char.py
python sample.py --out_dir=out-shakespeare-char