《从零构建大语言模型》学习笔记1,环境配置

《从零构建大语言模型》学习笔记1,环境配置

文章目录


前言

暑假期间有点时间,趁这段时间把《从零构建大语言模型》这本书书学习一下,一直都对现在比较火的大预言模型有着非常大的好奇心,想要了解他背后的原理。本人的情况是有一些传统机器学习的基础在的,尤其是图像方面的一些卷积神经网络,但是现在各种人工智能的底层技术趋势是使用注意力模型,对这方面的知识我也只是了解理论上的实现,还没有自己从底层写代码去实现一些attention或者transformer的模型。正好在学习这本书的过程中一起实践一下。接下来就开始我的学习了,有一起学习的可以一起交流下经验,因为这个过程中肯定会碰到非常多问题。

这本书的原项目地址是:https://github.com/rasbt/LLMs-from-scratch,大家可以参考一起学习。接下来就进行第一部分,关于项目环境的配置。其实原作者在开始前还简单介绍了一下大型语言模型(LLMs)背后的基本概念和高层次的解释,这里我就不阐述了。直接就是开干,动手实践起来。

一、配置代码环境

学过python的都知道,我们每个项目最好都有个独立的python虚拟环境,这次才不会冲突。原作者是用UV来管理虚拟环境,这个我不熟悉,我还是继续使用conda来管理环境,当然大家也可以使用自己熟悉的python环境管理工具。

1.新建conda环境

bash 复制代码
conda create -n llms python==3.10

这里需要注意的是python版本最好是3.10以上

等待安装后,然后是激活环境

bash 复制代码
conda activate llms

2.安装新的 Python 库

在llms环境下我们准备安装必要的第三方库,原作者已经写好放在项目根目录的requirements.txt文件里。

我们只需要使用语句

bash 复制代码
pip install -r requirements.txt

这里需要注意的是记得执行语句前要记得切换到项目目录下。

还有因为每个人的电脑环境不一样,默认大家装的pytorch和tensorflow装的都是CPU版本的。如果大家有GPU,大家可以根据自己电脑的情况去官网更新一下这两个库,比如pytorch的官网:<pytorch.org>

因为我电脑用的是cuda12.6,所以我得安装语句是

bash 复制代码
pip3 install torch torchvision --index-url https://download.pytorch.org/whl/cu126

3.验证环境

安装后可以在当前环境下执行step\02_installing-python-libraries\python_environment_check.py脚本。

如果有以上库则没什么问题。

相关推荐
AI算力7 小时前
让安全驾驶有“AI”相伴|腾视科技DMS视频监控一体机,守护每一次出行
人工智能·科技·ai·车载终端·ai算力·车载智能终端·车载dvr
泯泷7 小时前
超越基准:Claude Opus 4.5 的 4 个惊人洞察
人工智能
果果软件7 小时前
2026 后台管理系统选型:若依、JeecgBoot、芋道、NocoBase 和 GewuMind Boot 怎么选?
java·人工智能·后端·ai·开源
Csvn7 小时前
刚开始用 WorkBuddy,第一步该做什么?
人工智能
一水鉴天8 小时前
同一与唯一:AppBus 外壳与 DevOps 内核 之1 20261121(元宝)
人工智能·机器学习
Wellijohn8 小时前
一个 Android 老兵的十年开源路:从 167 star 的滑动控件,到本地优先的 AI Agent
android·人工智能·开源
ZONGYUAN-ROOT8 小时前
【API配额】API 配额监控告警不生效?用 Python 监控读数变化量,抓住静态阈值漏掉的「假重置」
人工智能
Wellijohn8 小时前
我把公司内部的 12 个 CRUD 接口交给了 AI Agent,然后省出了两周
人工智能·python·mcp
伞伞悦读10 小时前
【第92期】逻辑回归的分数概率与阈值的实验与排查
人工智能·python·深度学习·机器学习