【大模型专栏—入门篇】一文打通你的Pytorch安装

大模型专栏介绍

😊你好，我是小航，一个正在变秃、变强的文艺倾年。

🔔本文为大模型专栏子篇，大模型专栏将持续更新，主要讲解大模型从入门到实战打怪升级。如有兴趣，欢迎您的阅读。

💡适合人群：本科生、研究生、大模型爱好者，期待与你一同探索、学习、进步，一起卷起来叭！

🔗篇章一：本篇主要讲解Python基础、数据分析三件套、机器学习、深度学习、CUDA等基础知识、学习使用AutoDL炼丹

🔗篇章二：本篇主要讲解基本的科研知识、认识数据和显卡、语言模型如RNN、LSTM、Attention、Transformer、Bert、T5、GPT、BLOOM、LLama、Baichuan、ChatGLM等系列、强化学习教程、大模型基础知识及微调等

🔗篇章三：本篇主要讲解智能对话、大模型基础实战如Ollama、Agent、QLoar、Deepspeed、RAG、Mobile Agent等、大模型领域前沿论文总结及创新点汇总

一、Anaconda 安装

1.1、使用国内源下载更快：anaconda 清华源

1.2、安装路径，这里不建议装在C盘，安装完大概3个G左右

1.3、Conda常用命令

sheel 复制代码

#查看当前环境的信息
conda info  

#查看已经创建的所有虚拟环境
conda info -e 

#切换到xx虚拟环境
conda activate xx 

#退出当前虚拟环境
conda deactivate

#切换环境
set CONDA_FORCE_32BIT=1 # 切换到32位
set CONDA_FORCE_32BIT=0 # 切换到64位

#创建一个python3.8 名为pytorch 的虚拟环境
conda create -n pytorch python=3.8

#移除环境
conda remove -n env_name --all 

#切换root环境
activate root

#删除环境钟的某个包
conda remove --name $your_env_name  $package_name 

#查找某包是否已经安装
conda list xxx #包的名称

#查询已安装包
pip list

##########################################################

#重命名虚拟环境
conda activate [原虚拟环境的名称]
conda create --name [新虚拟环境的名称] --clone [原虚拟环境的名称]
conda remove --name [原虚拟环境的名称] --all

#备份虚拟环境
conda env export --name [虚拟环境的名称] > environment.yaml

#恢复虚拟环境
conda env create --name [新环境的名称] --file environment.yaml

#########################################################

#查看所有源
conda config --show-sources

#设置搜索时显示通道地址
conda config --set show_channel_urls yes

#设置镜像源
#添加清华源
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/condaforge/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/
# 添加阿里云镜像源
conda config --add channels https://mirrors.aliyun.com/anaconda/pkgs/free/
conda config --add channels https://mirrors.aliyun.com/anaconda/pkgs/main/
#添加中科大源
conda config --add channels https://mirrors.ustc.edu.cn/anaconda/pkgs/free/
conda config --add channels https://mirrors.ustc.edu.cn/anaconda/pkgs/main/
conda config --add channels https://mirrors.ustc.edu.cn/anaconda/cloud/conda-forge/
conda config --add channels https://mirrors.ustc.edu.cn/anaconda/cloud/msys2/ conda config --add channels https://mirrors.ustc.edu.cn/anaconda/cloud/bioconda/
conda config --add channels https://mirrors.ustc.edu.cn/anaconda/cloud/menpo/

#删除制定源
conda config --remove channels 'https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/'

#删除全部源
conda config --remove-key channels

1.4、Conda 配置虚拟环境为D盘

编辑：C:\Users\用户.condarc

修改或新增envs_dirs、pkgs_dirs的配置：

channels:
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
  - defaults
show_channel_urls: true
envs_dirs: [F:\conda_config\envs]
pkgs_dirs: [F:\conda_config\pkgs]

新建文件夹：

执行命令：

conda info

测试：

如果出现No Writable PkgsDir Error错误，检查文件夹是否可读：

二、Torch安装

2.1、查询自己的电脑支持安装CUDA的最高版本

nvidia-smi

2.2、 NVIDIA显卡驱动升级

建议通过NVIDIA GeForce Experience自动更新，下载GeForce Experience并安装，检查驱动更新在GeForce Experience主界面，点击左侧的"驱动程序"标签，软件将自动检测当前显卡驱动的版本，并检查是否有可用的更新。

2.3、安装CUDA

建议安装到C盘

验证是否安装成功：

nvcc -V

2.4、cudnn安装

将下载好的Zip文件解压，文件夹中的/bin、/include、/lib复制到C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.8文件夹下

进入C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.8\extras\demo_suite文件夹，打开cmd窗口，分别执行bandwidthTest.exe、deviceQuery.exe

2.5、安装Pytorch

# 创建环境并激活
conda create -n pytorch python=3.8
conda activate pytorch

🔗官网版本安装命令：链接

示例：

shell 复制代码

# CUDA 11.7
conda install pytorch==2.0.1 torchvision==0.15.2 torchaudio==2.0.2 pytorch-cuda=11.7 -c pytorch -c nvidia
# CUDA 11.8
conda install pytorch==2.0.1 torchvision==0.15.2 torchaudio==2.0.2 pytorch-cuda=11.8 -c pytorch -c nvidia
# CPU Only
conda install pytorch==2.0.1 torchvision==0.15.2 torchaudio==2.0.2 cpuonly -c pytorch

pip安装：

shell 复制代码

# ROCM 5.4.2 (Linux only)
pip install torch==2.0.1 torchvision==0.15.2 torchaudio==2.0.2 --index-url https://download.pytorch.org/whl/rocm5.4.2
# CUDA 11.7
pip install torch==2.0.1 torchvision==0.15.2 torchaudio==2.0.2
# CUDA 11.8
pip install torch==2.0.1 torchvision==0.15.2 torchaudio==2.0.2 --index-url https://download.pytorch.org/whl/cu118
# CPU only
pip install torch==2.0.1 torchvision==0.15.2 torchaudio==2.0.2 --index-url https://download.pytorch.org/whl/cpu

注意CUDA、Pytorch和显卡驱动三者版本之间的对应关系：

显卡驱动是操作系统和显卡硬件之间的软件接口，复杂管理显卡的的功能和性能，一台主机上只能安装一个版本的显卡驱动。
CUDA是NVIDIA 开发的基于C/C++的并行计算工具包，可以使开发人员在 GPU 上编写高性能的并行程序。每个版本的显卡驱动有其支持的最高CUDA版本，并可以向后兼容旧版本的CUDA。一台主机上可以同时安装多个版本的CUDA，使用时只需要在~/.bashrc文件中将对应版本cuda的安装路径加入环境变量即可。

Pytorch是在CUDA上开发的一个开源的机器学习框架，用于构建深度学习模型。每个版本的CUDA都可能支持多个版本的Pytorch。一般情况下，pytorch版本与开源代码要求的略有不同不会影响使用，但pytorch基于的cuda版本一定要与本机环境变量中设置的cuda版本相同。用户可以通过Anaconda来创建多个python环境，进而使用不同版本的pytorch。

Pytroch（GPU版本）安装检查：

方法一：

pip list

方法二：

python
>>> import torch
# 查看torch版本
>>> torch.__version__
# 查看cuda是否可用
>>> torch.cuda.is_available()
>>> True

如果为Fasle，请检查下载版本（可能下载的是CPU版本）是否正确

三、Jupter Notebook安装

3.1、配置Jupyter的工作目录

打开Anaconda Prompt，执行下面命令

# 查看配置文件目录
jupyter notebook --generate-config
# Writing default config to: C:\Users\artboy\.jupyter\jupyter_notebook_config.py

创建自己的notebook工作目录：F:/Python_Project/notebook_dir

打开配置文件jupyter_notebook_config.py，搜索关键字notebook_dir，移除注释并修改：

修改Jupyter Notebook程序默认路径：

在开始菜单中找到Jupyter Notebook，右键选择，打开文件所处位置。

右键点开Jupyter Notebook，选择属性，将%USERPROFILE%/替换成刚刚在上面你选择的路径。

启动Jupyter Notebook测试：

3.2、设置内核

打开Anaconda Prompt，执行下面命令

# 查看目前可用的内核
jupyter kernelspec list
# Available kernels:
#python3    D:\Anaconda3\share\jupyter\kernels\python3

把创建的环境添加到jupyter的内核

conda activate pytorch
# 安装ipykernel
conda install ipykernel
# 将环境写入Notebook的kernel中
python -m ipykernel install --user --name=pytorch

解决jupyter notebook在anaconda prompt命令行无法启动的问题

我的电脑->属性->高级系统设置->环境变量->用户变量->Path->新建变量D:\Anaconda3\Scripts

四、Pycharm配置

4.1、配置解释器

右下角新增新的解释器-本地：

选择加载conda.exe：

4.2、Pycharm 使用 Jupter Notebook

📌 [ 笔者 ]   文艺倾年
📃 [ 更新 ]   2024.9.10
❌ [ 勘误 ]   /* 暂无 */
📜 [ 声明 ]   由于作者水平有限，本文有错误和不准确之处在所难免，
              本人也很想知道这些错误，恳望读者批评指正！