《从零构建大语言模型》学习笔记1，环境配置

文章目录

《从零构建大语言模型》学习笔记1，环境配置
前言
一、配置代码环境
- 1.新建conda环境
- [2.安装新的 Python 库](#2.安装新的 Python 库)
- 3.验证环境

前言

暑假期间有点时间，趁这段时间把《从零构建大语言模型》这本书书学习一下，一直都对现在比较火的大预言模型有着非常大的好奇心，想要了解他背后的原理。本人的情况是有一些传统机器学习的基础在的，尤其是图像方面的一些卷积神经网络，但是现在各种人工智能的底层技术趋势是使用注意力模型，对这方面的知识我也只是了解理论上的实现，还没有自己从底层写代码去实现一些attention或者transformer的模型。正好在学习这本书的过程中一起实践一下。接下来就开始我的学习了，有一起学习的可以一起交流下经验，因为这个过程中肯定会碰到非常多问题。

这本书的原项目地址是：https://github.com/rasbt/LLMs-from-scratch，大家可以参考一起学习。接下来就进行第一部分，关于项目环境的配置。其实原作者在开始前还简单介绍了一下大型语言模型（LLMs）背后的基本概念和高层次的解释，这里我就不阐述了。直接就是开干，动手实践起来。

一、配置代码环境

学过python的都知道，我们每个项目最好都有个独立的python虚拟环境，这次才不会冲突。原作者是用UV来管理虚拟环境，这个我不熟悉，我还是继续使用conda来管理环境，当然大家也可以使用自己熟悉的python环境管理工具。

1.新建conda环境

bash 复制代码

conda create -n llms python==3.10

这里需要注意的是python版本最好是3.10以上

等待安装后，然后是激活环境

bash 复制代码

conda activate llms

2.安装新的 Python 库

在llms环境下我们准备安装必要的第三方库，原作者已经写好放在项目根目录的requirements.txt文件里。

我们只需要使用语句

bash 复制代码

pip install -r requirements.txt

这里需要注意的是记得执行语句前要记得切换到项目目录下。

还有因为每个人的电脑环境不一样，默认大家装的pytorch和tensorflow装的都是CPU版本的。如果大家有GPU，大家可以根据自己电脑的情况去官网更新一下这两个库，比如pytorch的官网：<pytorch.org>

因为我电脑用的是cuda12.6，所以我得安装语句是
bash 复制代码
pip3 install torch torchvision --index-url https://download.pytorch.org/whl/cu126

3.验证环境

安装后可以在当前环境下执行step\02_installing-python-libraries\python_environment_check.py脚本。

如果有以上库则没什么问题。