换了新电脑,重新装一下anaconda这些编程环境。好久没装过了,自己也需要查查资料,然后记录一下,分享给别人。
目标,三个环境:1.anaconda基础环境(包含xgboost和lightgbm),2.TensorFlow环境,3.Pytorch环境(能用GPU加速的那种。)
Anaconda安装
这个装了太多次了,很简单,选一个自己喜欢的版本下载就行。一般没什么特殊要求就直接开官网下载就行:Distribution | Anaconda
![](https://file.jishuzhan.net/article/1788735527302729729/be0785aaa97a324a8d116bfbf2e698a5.webp)
之前是打开直接点下载,现在还需要你填邮件,当然也可以点击跳过。然后找自己对应的电脑系统安装就行。
![](https://file.jishuzhan.net/article/1788735527302729729/84a1fcd2fbaa7e2f31fd1dd626f4bd55.webp)
我看了一下,这个Windows版本是py3.11,我觉得太高了,就去以往的列表找一下之前的版本的安装包。Index of / (anaconda.com)
![](https://file.jishuzhan.net/article/1788735527302729729/8e49678dda0d56f586b3283a62c5029f.webp)
我看这个2023年的7月感觉不错,我就下载这个版本安装了。
下载好的exe文件直接双击运行:
![](https://file.jishuzhan.net/article/1788735527302729729/46f233ae14f7b42d70a1322ace672a2b.webp)
点击下一步,我同意,然后这里可以选自己用,也可以选所有人用:
![](https://file.jishuzhan.net/article/1788735527302729729/cef6f21a7d88466339e458035bb235ad.webp)
选择安装路径
![](https://file.jishuzhan.net/article/1788735527302729729/96a99bf116d2a622946628046c61ac38.webp)
这个选前2个就行:
![](https://file.jishuzhan.net/article/1788735527302729729/a4ccf13066ec51b3de77419fdda12c9a.webp)
第三个是清除安装包,我觉得没必要。
然后等待安装完成:
![](https://file.jishuzhan.net/article/1788735527302729729/aeb48d42c07bd8caf9d7d7b7bb6566b7.webp)
一直点击继续,到最后这两个去掉勾选就行了。
![](https://file.jishuzhan.net/article/1788735527302729729/b8494374b69901a0def028f2ce751719.webp)
点击完成!基础的环境就安装好了。
环境变量
查看一下anaconda路径有没有在环境变量里面,其实不在环境变量里面也不影响运行,但是在的话更好,这与会避免后面可能的报错。
在查找里面搜索如下的 编辑系统环境变量,
![](https://file.jishuzhan.net/article/1788735527302729729/6b4ae6540ff50ce35eeb60e1cb1593df.webp)
点击环境变量
![](https://file.jishuzhan.net/article/1788735527302729729/ad71fe0a7c99305a2f876efe61d80f1a.webp)
在用户变量里面找到Path这一列,双击
![](https://file.jishuzhan.net/article/1788735527302729729/0c82128cbd7de7c4e1ee892734ac6032.webp)
我里面没得环境变量,按道理来说安装的时候会让你勾选的。我这个安装包没看见,所以我自己手动把anaconda,还有里面的带bin 和scripts的这些路径都添加到环境变量了。同学可以模仿这个路径复制进去就行。
![](https://file.jishuzhan.net/article/1788735527302729729/e1d32fc2e3ccb0278500f919966395b1.webp)
设置好之后点确定确定。
然后win+r,输入cmd,打开
![](https://file.jishuzhan.net/article/1788735527302729729/f7dd45a1f677fa1c6270ec2c101f6721.webp)
输入下面红色框框的东西,出现了信息就说明安装好了,环境变量也成功了。
![](https://file.jishuzhan.net/article/1788735527302729729/57d42b5755e923cecb0b3d081cb5d805.webp)
安装xgboost和lightgbm
这两个包时做表格数据的机器学习效果最好的模型。若是不需要的同学,只做深度学习的话就可以跳过。
在菜单键的所有应用中,打开anaconda的命令提示符,
![](https://file.jishuzhan.net/article/1788735527302729729/f3946a4878adf386b12306ec7043b578.webp)
输入:
python
pip install xgboost
![](https://file.jishuzhan.net/article/1788735527302729729/93ffe39ee4b8cff903ce7f6a029032bd.webp)
等待安装好就行。
若出现一屏幕的红色字体报错的话:
不要慌,你看见time out就表示是超时了,我们只需要再输入一遍回车等待就行。还超时的话就不停地输入这个安装命令和回车。。装好为止。
lightgbm也是一样的
python
pip install lightgbm
![](https://file.jishuzhan.net/article/1788735527302729729/43f24420b63a9737d172ee8e8fc87dc3.webp)
等待安装好就行。
测试
装好了,当然要看看能不能正常运行了。我们首先打开jupyter notebook(现在实习的公司用的是jupyter lab,都可以,我比较喜欢notebook)
还是打开conda的命令提示符:
![](https://file.jishuzhan.net/article/1788735527302729729/14b08829dac4e17a794d820abefc144e.webp)
切换到D盘(因为我代码放在D盘的),然后输入jupyter notebook
![](https://file.jishuzhan.net/article/1788735527302729729/0c80c8425fed4615db12b50a02e329be.webp)
等待一下,就能看到下面的网址了
![](https://file.jishuzhan.net/article/1788735527302729729/235d2ad8dc12eddf7ba96fc0380709e9.webp)
按道理来说,一个会自动跳转到默认的浏览器打开他们的,但是我新电脑没有跳转。。算了,无伤大雅,我手动复制到浏览器打开,然后沿着代码文件的路径进去打开要运行的代码文件:
![](https://file.jishuzhan.net/article/1788735527302729729/799295d1b0e61b6121bded44c9a1ff92.webp)
直接重启运行全部代码
![](https://file.jishuzhan.net/article/1788735527302729729/a561a1bd9cf9a3f901ddc83c63cf22b6.webp)
OK完美运行,速度很快(毕竟是新电脑)
![](https://file.jishuzhan.net/article/1788735527302729729/3119b31be37d5dd7d310c2bd4087ebc3.webp)
![](https://file.jishuzhan.net/article/1788735527302729729/ea4e07bfc050881c34300a70509153ac.webp)
测试完成!基础环境就已经装好了,下面来装TensorFlow。
TensorFlow安装
选择版本
深度学习首先得问题就是用CPU跑,还是GPU跑。。我当然想用GPU跑,不然买新电脑是做啥、、GPU跑得多块,一下就训练完了。然后库的版本,我其实也想装个比较新的版本,但是TensorFlow的环境这几年真的不太行了,毕竟谷歌自己都不怎么用了,现在都去弄pytorch了。
然后我自己去官网看了看:
Build from source on Windows | TensorFlow (google.cn)
发现他们从2.10版本之后的版本,win系统都不支持cuda了,见鬼,看来我想装2.11版本以上的TensorFlow 这英伟达显卡起不来作用了,那就老老实实装CPU版本吧。
![](https://file.jishuzhan.net/article/1788735527302729729/c5fa77aefea3af9d06020af2beb019bf.webp)
看看CPU版本的对照型号:
![](https://file.jishuzhan.net/article/1788735527302729729/82981faa95361d2bc55bcf4eaeda1309.webp)
我还是感觉太新的版本不好,咋们就来个python3.11,TensorFlow2.15的吧。
虚拟环境安装
为什么要创建虚拟环境呢?就是防止版本冲突,深度学习依赖的库太多,要是你在基础环境里面哪天不小心升级了一个包,然后整个深度学习框架不能用了就会很尴尬。。
所以我们先要创建一个虚拟环境,然后在里面安装TensorFlow。
![](https://file.jishuzhan.net/article/1788735527302729729/52f4f6254e91a8162321dd4ae0213c33.webp)
还是打开命令提示符,输入下面的代码
python
conda create --name tensorflow_env python=3.11 anaconda
这一行的功能是创建一个名称为:"tensorflow_env"的虚拟环境,安装py3.11的内核,我后面带了一个anaconda是因为我喜欢在这个TensorFlow环境里面把所有的anaconda组件都带上,免得如果只装py的话,后面还需要安装一堆常用的包(pandas,numpy,seaborn)等。。。
然后会跳出来一堆包的名称,输入y,同意安装
![](https://file.jishuzhan.net/article/1788735527302729729/b3dfc1949a9815a6115b350966f16488.webp)
安装好了上面会提示你怎么激活环境,怎么退出环境:
![](https://file.jishuzhan.net/article/1788735527302729729/3e66a0b50c94e0598a6f2851aad25700.webp)
输入"conda activate tensorflow_env"激活虚拟环境后,还可以在里面"conda --version",查看版本信息,'conda info',还可以看看里面有哪些库:"pip list"
![](https://file.jishuzhan.net/article/1788735527302729729/55971d082a43183bd21f2d1a08de802c.webp)
然后就是安装TensorFlow了。很简单其实,就是pip就行了。我还作死看了一下他默认给我装的3.11是3.11几,一看好家伙,是3.11.9,这无线接近3.12的版本的py能上TensorFlow2.15吗,我只能先试试了。
输入:
python
pip install tensorflow==2.15.0
![](https://file.jishuzhan.net/article/1788735527302729729/5678fc7e7e852d719fe1c2e2ab67eed3.webp)
然后等待安装
![](https://file.jishuzhan.net/article/1788735527302729729/d7f88c5e735703b2f9816a6cb9be6dfa.webp)
仔细一看他装的包,keras就在里面,不用额外装了。
感觉可以用了,我去跑个代码试试:
![](https://file.jishuzhan.net/article/1788735527302729729/b5c183e8ec5f7036657489ae97e9dd94.webp)
可以没问题是能运行的,但是好像keras库里面发出来警告,keras里面的TensorFlow的api没有更新,虽然能用。。但是好像也不长久了。。没事,反正后面keras也可以用pytorch的框架了,想这样过渡凑合着用吧。
(ps,不想这样被警告的同学,可以换TensorFlow2.14版本试一下,说不定就还好。)
TensorFlow安装完成!虽然用不了GPU加速,但是也还不错了,也是没办法的事情官网都不支持cuda了。
下面去安装pytorch 的环境。pytorch就可以用gpu了。
Pytorch安装
版本选择
pytorch的安装就有点讲究了,除了前面说的虚拟环境外,torch包的版本,py 的版本,还有cuda 的版本要都对应上。
(不过现在的pytorch安装是不需要装什么cuda驱动的,只要版本是对的,就一行命令就安装好了)
首先在英伟达的控制面板里面去找自己显卡的的CUDA Toolkit的版本
![](https://file.jishuzhan.net/article/1788735527302729729/255fbff4184eb98cabd2fa912d4f1b17.webp)
没这个就在搜索里面搜
![](https://file.jishuzhan.net/article/1788735527302729729/33394b21046e080eceaa99c34e6fe9eb.webp)
可以看到我的CUDA Toolkit是12.2.146的版本,也就是说CUDA 12.2以下的版本应该都是支持的。
怎么查看cuda和pytorch版本的关系呢?,可以查看官网的安装命令:
Previous PyTorch Versions | PyTorch
上面会有每个torch版本的对应的cuda的版本命令:
![](https://file.jishuzhan.net/article/1788735527302729729/1384b9c72021c08bfb729551e6ee371b.webp)
例如这里的2.2.2就支持cuda11.8和12.2的版本。
那我们12.2的cuda就都可以选了,无所谓,那就来最新版本的pytorch2.3吧!
![](https://file.jishuzhan.net/article/1788735527302729729/cf1d632c978810b825ea0a717a0c5e11.webp)
我就准备用这个命令安装了。
cuda和pytorch版本对应了后,去找python 的版本。
然后去官网查看py和pytorch的版本对应关系:
GitHub - pytorch/vision: Datasets, Transforms and Models specific to Computer Vision
![](https://file.jishuzhan.net/article/1788735527302729729/5dbf39f145c4f467fcf73c992074f9a2.webp)
其实基本上3.8-3.11这个版本的python都是支持2.0以上版本的 torch 的。
那我们还是弄一个3.11版本的py吧。
开始安装!
虚拟环境安装
所以我们先要创建一个虚拟环境,然后在里面安装pytorch。
还是打开命令提示符,输入下面的代码
python
conda create --name pytorch_env python=3.11
这一行的功能是创建一个名称为:"pytorch_env"的虚拟环境,安装py3.11的内核,这次后面没有带anaconda,所以这个环境后面还需要安装一堆常用的数据科学的包(pandas,numpy,seaborn)等。。。
然后还是会跳出来一堆包的名称,但是明显少一些,都是很基础的包。输入y,同意安装
![](https://file.jishuzhan.net/article/1788735527302729729/6792612b27dff50c8747c696c386a805.webp)
安装好了上面会提示你怎么激活环境,怎么退出环境:
![](https://file.jishuzhan.net/article/1788735527302729729/104e02787fd18c876566163be80fae8f.webp)
同样我们激活这个虚拟环境
python
conda activate pytorch_env
然后我从官网上掏出了最新的安装命令:Start Locally | PyTorch
![](https://file.jishuzhan.net/article/1788735527302729729/796f89f1d538b3493b47b5e23a6dd8c6.webp)
python
pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121
我是cuda是最新的12.2才敢这样做的,其他同学的版本不一样的可不要学我,要去查找对应cuda 的torch版本的安装命令。
![](https://file.jishuzhan.net/article/1788735527302729729/6997a23997f67dacf1b3a5b4bcbddc17.webp)
等待安装,包还挺大。
![](https://file.jishuzhan.net/article/1788735527302729729/3a3d51669ee3381e718614fd2c0f26e9.webp)
(等待安装的时候我就在想,这个torch环境在anaconda里面,所以我外面要装stable diffusion的时候还要装一下torch环境,不过这样也好,隔开的,一个科研跑数据,一个画画,挺好的。)
安装过程可能会提示你什么什么包没有,装一下就好了。然后还可以反复运行上面pytorch 的安装代码,没事,就反复运行尝试就行。
还可以参考李沐老师的这本书的教程,b站也有网课。
安装 --- 动手学深度学习 2.0.0 documentation (d2l.ai)
pytorch 的生态和环境还是很丰富,啥问题都可以上网找得到的。
安装完了, 我在这个虚拟环境下输入python,进入py 的环境,然后输入下面的py代码测试是不是能用到cuda显卡:
python
import torch
torch.cuda.is_available()
![](https://file.jishuzhan.net/article/1788735527302729729/28e8db410b07d2c3efe251338c8c537b.webp)
好耶,是可以的。看来现在的pytorch安装是不需要装什么cuda驱动的。
安装完了,我去跑个代码试试,找了个vgg,还有点大的神经网络。
![](https://file.jishuzhan.net/article/1788735527302729729/c76842a633288314cdb931bda7a9021d.webp)
完全能运行,一点问题都没有。我显卡被狂用。。温度上升。。
![](https://file.jishuzhan.net/article/1788735527302729729/1e3bfe5404871152abd82b5b0b64ddc7.webp)
大功告成!机器学习和深度学习的环境都装备好了! 后面就轻松愉快的写代码了
(创作不易,各位看官觉得还不错能帮到你们就点个赞和收藏吧)