Linux Ubuntu系统配置CPU、GPU加速的tensorflow模块

本文介绍在Linux 操作系统的发行版本Ubuntu 中,配置可以用CPUGPU 运行的Python 新版本深度学习库tensorflow的方法。

在文章# CPU、GPU通用tensorflow库在Anaconda中的配置以及# 完美配置GPU版本的tensorflow库中,我们已经介绍了Windows 平台下,配置CPUGPU 版本的tensorflow库的方法;而在本文中,我们就介绍一下在Linux Ubuntu 环境中,CPUGPU 版本tensorflow库的配置方法。

本文分文两部分,第1部分为CPU 版本的tensorflow库的配置方法,第2部分则为GPU 版本的tensorflow库的配置方法;如果大家的电脑有GPU ,那么就直接跳过第1部分,从本文的第2部分开始看起就好。需要明确的是,本文的Python 版本为3.10,是一个比较新的版本;但是如果大家的Python是其他版本也没问题,整体配置的思路都是一样的。

1 CPU版本

首先,我们介绍一下CPU 版本的tensorflow库的配置方法。

配置CPU 版本的tensorflow库可以说是非常简单。首先,建议大家按照文章# Ubuntu系统安装Anaconda与Python环境中提及的内容,首先配置好Anaconda 环境;其次,如果大家需要在虚拟环境中配置tensorflow库,那么就可以自行创建一个虚拟环境后开始后续的操作------我这里就直接在默认的环境,也就是base环境中加以配置了。关于Anaconda 创建虚拟环境,大家可以参考文章# Anaconda创建、使用、删除Python虚拟环境,这里就不再赘述了。

我们可以通过在终端中输入如下的代码,查看当前Anaconda环境中的环境。

bash 复制代码
conda info -e

运行上述代码,将得到如下图所示的情况。其中,可以看到我这里因为没有创建虚拟环境,因此就是只有一个base环境。

随后,我们在终端中输入如下的代码,安装tensorflow库。

bash 复制代码
conda install tensorflow

运行上述代码,我们将自动开始安装当前环境(也就是Python 版本)支持的最新版本的tensorflow库;如下图所示。

安装完毕后,就将出现如下图所示的界面。

至此,我们就完成了CPU 版本的tensorflow库的配置。我们按照文章# 完美配置GPU版本的tensorflow库中提及的方法,在Python 中输入如下的代码,检验当前tensorflow库是否支持GPU运算。

python 复制代码
import tensorflow as tf
print(tf.config.list_physical_devices("GPU"))

运行上述代码,如果得到如下图所示的一个空列表[],则表示当前tensorflow库并不支持GPU 运算------当然这个是肯定的,我们这里配置的就是CPU 版本的tensorflow库,自然是无法在GPU中加以运算了。

至此,tensorflow库也可以正常使用了,但是他只能支持CPU 运算。这里有必要提一句,其实我们通过前述方法配置的tensorflow库,其自身原理上也是支持GPU 运算的------因为在Linux 操作系统中,从tensorflow库的1.15版本以后,就不再区分CPUGPU 版本了,只要下载了tensorflow库,那么他自身就是CPUGPU 都支持的;我们目前到此为止配置的tensorflow库之所以不能在GPU 中加以运行,是因为我们还没有将GPU 运算需要的其他依赖项配置好(或者是电脑中完全就没有GPU)。

2 GPU版本

接下来,我们介绍一下GPU 版本的tensorflow库的配置方法。

2.1 NVIDIA Driver配置

首先,我们需要对NVIDIA 驱动程序加以配置。NVIDIA 驱动程序是用于NVIDIA 显卡的软件,它可以控制NVIDIA显卡的功能和性能,并确保它们与操作系统和其他软件正常配合工作。

首先,我们可以先在终端中输入如下的代码。

bash 复制代码
nvidia-smi

随后,正常情况下应该出现如下图所示的情况。如果大家此时出现的是其他情况,就表明要么没有安装任何NVIDIA 驱动程序,要么是安装了NVIDIA驱动程序但是这一驱动的版本有问题。这里我们可以先不管,大家继续往下看即可。

接下来,我们就开始安装NVIDIA 驱动程序。其中,这里提供3种不同的方法,但是建议大家用最后一种。

2.1.1 方法一(不推荐)

1种方法,我们直接在终端中输入如下的代码即可。

bash 复制代码
sudo ubuntu-drivers autoinstall

一般情况下,这一代码将会自动下载或更新我们电脑中的驱动,其中NVIDIA驱动程序也会跟着一并下载或更新。但是这一方法我尝试之后发现,并没有效果,因此这一方法应该是和大家电脑的状态有关系,不一定百分之百成功,因此并不推荐。

2.1.2 方法二(不推荐)

2种方法,是直接到NVIDIA驱动程序的官方网站中下载;但是这一方法比较麻烦,因此我这里也并不推荐。

首先,我们进入NVIDIA 驱动程序的官方网站,并在如下图所示的界面处,依据自己电脑中显卡的型号、电脑的系统等加以选择。

随后,点击"搜索 "选项,将会出现最合适大家的NVIDIA 驱动程序,并点击"下载"即可。

随后,大家在终端中,安装刚刚下载好的NVIDIA驱动程序即可。

2.1.3 方法三(推荐)

3种方法,是最为推荐的方法。

首先,大家在终端中输入如下的代码。

bash 复制代码
ubuntu-drivers devices

随后,将出现如下图所示的界面;其中,出现recommendedNVIDIA驱动程序版本,就是我们电脑中最合适的版本;大家此时需要记录一下这个版本号,后续需要用到。

接下来,我们在终端中输入如下的代码。

bash 复制代码
sudo apt install nvidia-driver-525

其中,上述代码最后的525就是我们上图中,记录下来的版本号,大家依据自己的实际情况来修改上述代码即可。运行代码后,将出现如下图所示的情况,即这一版本的NVIDIA驱动程序将开始下载与安装。

如果大家随后的下载、安装都很顺利,那么久没事了;但是有的时候,会出现如下图所示的错误提示。

此时,表明我们电脑中原有的NVIDIA驱动程序与新下载的版本有了冲突,导致新的版本无法正常安装。此时,我们需要在终端中,依次输入如下的代码,记得每次输入一行即可。

bash 复制代码
sudo apt-get purge nvidia*
sudo apt-get purge libnvidia*
sudo apt-get --purge remove nvidia-*
sudo dpkg --list | grep nvidia-*

上述代码中,前3行表示删除原有的NVIDIA 驱动程序及其相关内容,最后一句用来检测,原有的NVIDIA 驱动程序是不是被删除干净了。如果大家出现如下图所示的情况,即输入上述最后一句代码后什么提示信息都没有出现,那么就说明原有的NVIDIA驱动程序已经删除干净了。

此时,我们可以再执行一次如下的代码。

bash 复制代码
ubuntu-drivers devices

但此时,和前文中不一样的是,或许可以看到出现recommendedNVIDIA 驱动程序版本发生了变化,例如我这里不再是前面的525了,而是另一个版本;但是这里我们不用管这个变化,之后还是下载525版本即可。

接下来,我们还是运行以下代码。

bash 复制代码
sudo apt install nvidia-driver-525

其中,上述代码最后的525就是我这里的版本号,大家还是要记得修改一下。此时,我们就可以正常下载、安装指定版本的NVIDIA驱动程序了。

此时,我们再一次在终端中输入如下的代码。

bash 复制代码
nvidia-smi

随后,正常情况下应该出现如下图所示的情况。其中,可以留意一下下图的右上角,表示CUDA 版本最高支持12.0,再新的版本就不支持了------当然,这个CUDA具体是什么,以及怎么配置,我们接下来会提到,这里就是先留意一下即可。

还有一点需要注意,如果输入前述代码后,出现的是如下图所示的情况,那么还是说明我们此时电脑中原有的NVIDIA 驱动程序与新下载的版本有了冲突,大家重新执行一下前文中删除电脑中原有的NVIDIA 驱动程序的3句代码即可。

随后,我们还可以输入如下的代码。

text 复制代码
nvidia-settings

如果出现如下图所示的情况,即一个新的名为"NVIDIA X Server Settings"的窗口被打开,即说明我们前述的配置没有问题。

至此,我们完成了NVIDIA驱动程序的配置工作。

2.2 CUDA配置

接下来,我们进行CUDA 的配置;CUDANVIDIA发明的一种并行计算平台和编程模型。

首先,我们需要到tensorflow库的官方网站中,下拉找到如下图所示的tensorflow库版本与对应的CUDAcuDNN 版本匹配表格,并结合自己的Python 版本,选择确定自己需要哪一个版本的tensorflow库,并进一步确定自己CUDAcuDNN 的版本。其中,如下图紫色框所示,由于我这里Python 版本是3.10的,因此只能选择紫色框内的版本;随后,想着用新版本的tensorflow库,因此我就选择用第一行对应的CUDAcuDNN版本了。

随后,我们到CUDA官方网站中,首先按照如下图所示的方法,基于自己电脑的型号选择对应的内容;其中,注意最后一个选项要选择runfile (local)

随后,网站将根据我们的选择,自动展示最新版本的CUDA 。但是要注意,网站中给我们的选择,默认是最新的版本,而我们需要根据前文提到的tensorflow库版本与对应的CUDAcuDNN 版本匹配表格,确定我们需要的版本。例如,如下图前3个紫色框所示,网站中给出的CUDA 版本是12.1.1的,而我需要的版本是11.8的,因此就需要通过下图中"Archive of Previous CUDA Releases "选项,找到老版本的CUDA

如下图所示,我们这里找到11.8版本的CUDA,点击即可。

随后,将出现11.8版本的CUDA的安装方法,我们就在终端中,先后输入网站中此时展示出来的两句代码即可。

随后,即可开始安装CUDA 。其中,如果大家在安装时,出现如下图所示的提示,一般情况下是由于电脑中安装有老版本CUDA 导致的;但是也不用专门去管他,选择"Continue"选项即可。

随后,大家要注意,在如下图所示的界面中,取消选中Driver 前面的叉号,从而取消NVIDIA 驱动程序的安装,因为我们已经在前面安装过这个驱动了。随后,即可选择"Install"。

接下来,我们即可开始安装CUDA,安装完毕后将会出现如下图所示的界面。

至此,我们完成了CUDA的安装操作,但是需要进一步配置对应的环境变量。首先,在终端中输入如下的代码。

bash 复制代码
vim ~/.bashrc

这句代码表示,我们将打开bashrc这一文件,并对其加以编辑,从而实现对环境变量的配置。运行上述代码后,我们将看到类似如下图所示的界面。

随后,我们按下i键,开始对bashrc这一文件加以编辑。通过调整鼠标的位置,从而在bashrc文件的末尾增添如下的内容。

bash 复制代码
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/cuda/lib64
export PATH=$PATH:/usr/local/cuda/bin
export CUDA_HOME=$CUDA_HOME:/usr/local/cuda

此时,我们将得到如下图所示的情况。

接下来,我们首先按下Esc键退出编辑模式;接下来,输入:wq,表示保存并退出bashrc这一文件。此时,应该会出现如下图所示的界面。

接下来,我们分别在终端中输入如下所示的两句代码。

bash 复制代码
source ~/.bashrc
nvcc --version

其中,第一句表示更新bashrc文件,使得我们刚刚修改的环境变量立即生效;第二句则是验证CUDA 安装情况的代码。如果运行以上两句代码后,出现如下图所示的界面,则表明我们的CUDA配置与环境变量配置都已经完成。

至此,我们就完成了这一部分的配置工作。

2.3 cuDNN配置

接下来,我们开始配置cuDNNcuDNN 是一个GPU 加速的深度神经网络基元库,能够以高度优化的方式实现标准例程(如前向和反向卷积、池化层、归一化和激活层)。这里还是要看一下前文提及的那个tensorflow库版本与对应的CUDAcuDNN 版本匹配表格,明确我们需要下载哪一个版本的cuDNN

首先,我们进入cuDNN官方网站;要下载cuDNN之前,我们需要先注册一下,不过注册流程也比较快,几分钟就可以完成。

随后,我们在网站中找到对应版本的cuDNN 。这里需要注意,如果我们需要的cuDNN 版本并不是最新的,那么就需要在下图中"Archived cuDNN Releases"选项中找到老版本。

我这里需要8.6版本的cuDNN,因此就需要从上图所示的位置中找到这一个版本的下载链接,并开始下载。

下载完毕后,我们首先在终端中通过如下的命令进入下载路径;当然如果大家的下载路径不一样的话,就自行对下面这句代码加以修改即可。

bash 复制代码
cd ~/Downloads

随后,输入如下的代码;这里需要注意,下面代码中的8.x.x.x这一部分,大家需要结合自己下载后获得安装包中具体的版本数字来修改。这一句代码的作用是启动我们本地的存储库。

bash 复制代码
sudo dpkg -i cudnn-local-repo-${OS}-8.x.x.x_1.0-1_amd64.deb

运行上述代码,如下图所示。

接下来,依次逐行输入如下所示的代码。其中,下面代码中的8.x.x.x这一部分,大家还是需要结合自己下载后获得安装包中具体的版本数字来修改;而同时X.Y这一部分,我们则需要根据前面选择的CUDA的版本 来修改。例如,我前面下载的CUDA 版本是11.8的,因此这个X.Y就是11.8。这三句代码的作用依次是:导入CUDAGPG密钥、刷新存储库的元数据、安装运行时库。

bash 复制代码
sudo cp /var/cudnn-local-repo-*/cudnn-local-*-keyring.gpg /usr/share/keyrings/
sudo apt-get update
sudo apt-get install libcudnn8=8.x.x.x-1+cudaX.Y

如下图第一行、第二行代码所示,就是我这里输入的上述第三句代码的具体内容。

随后,我们继续在终端中输入如下的代码,同样记得修改自己的版本号。这句代码的作用是安装开发者库。

bash 复制代码
sudo apt-get install libcudnn8-dev=8.x.x.x-1+cudaX.Y

如下图所示,就是我这里输入的具体内容。

随后,我们继续在终端中输入如下的代码,同样记得修改自己的版本号。这句代码的作用是安装代码样例。

bash 复制代码
sudo apt-get install libcudnn8-samples=8.x.x.x-1+cudaX.Y

如下图所示,就是我这里输入的具体内容。

以上就是cuDNN的安装具体过程,接下来我们需要验证其是否安装正确。这一个验证过程稍微麻烦一些,但是其实流程也比较快。我们在终端中,依次逐行输入如下的代码即可。

bash 复制代码
cp -r /usr/src/cudnn_samples_v8/ $HOME
cd  $HOME/cudnn_samples_v8/mnistCUDNN
sudo apt-get install libfreeimage3 libfreeimage-dev
make clean && make
./mnistCUDNN

如果大家运行完上述代码后,得到如下图所示的结果,出现Test passed!这个字样,就表明我们的cuDNN也已经配置完毕。

至此,cuDNN就已经成功配置了。

2.4 tensorflow库配置

接下来,我们终于到了最后一步,也就是tensorflow库的配置了。

我们在终端中,输入如下的代码即可。

bash 复制代码
pip install tensorflow

随后,将出现如下图所示的情况。这里大家需要注意一下,大家看一下下图紫色框内的字样,如果我们此时开始下载的tensorflow库是我们需要的版本,那么就没有问题;如果是我们当前无法使用的版本(也就是和CUDAcuDNN 版本不匹配的版本),那么就可以通过指定版本的方式重新下载tensorflow库。

完成tensorflow库的配置后,我们在Python 中输入如下的代码,检验当前tensorflow库是否支持GPU运算。

python 复制代码
import tensorflow as tf
print(tf.config.list_physical_devices("GPU"))

运行上述代码,如果得到如下图紫色框内所示的字样,则表明我们的tensorflow库已经配置完毕,且可以使用GPU加速运算了。

至此,大功告成。

相关推荐
qzhqbb4 分钟前
基于统计方法的语言模型
人工智能·语言模型·easyui
冷眼看人间恩怨29 分钟前
【话题讨论】AI大模型重塑软件开发:定义、应用、优势与挑战
人工智能·ai编程·软件开发
2401_8830410830 分钟前
新锐品牌电商代运营公司都有哪些?
大数据·人工智能
AI极客菌1 小时前
Controlnet作者新作IC-light V2:基于FLUX训练,支持处理风格化图像,细节远高于SD1.5。
人工智能·计算机视觉·ai作画·stable diffusion·aigc·flux·人工智能作画
阿_旭2 小时前
一文读懂| 自注意力与交叉注意力机制在计算机视觉中作用与基本原理
人工智能·深度学习·计算机视觉·cross-attention·self-attention
王哈哈^_^2 小时前
【数据集】【YOLO】【目标检测】交通事故识别数据集 8939 张,YOLO道路事故目标检测实战训练教程!
前端·人工智能·深度学习·yolo·目标检测·计算机视觉·pyqt
Power20246663 小时前
NLP论文速读|LongReward:基于AI反馈来提升长上下文大语言模型
人工智能·深度学习·机器学习·自然语言处理·nlp
数据猎手小k3 小时前
AIDOVECL数据集:包含超过15000张AI生成的车辆图像数据集,目的解决旨在解决眼水平分类和定位问题。
人工智能·分类·数据挖掘
好奇龙猫3 小时前
【学习AI-相关路程-mnist手写数字分类-win-硬件:windows-自我学习AI-实验步骤-全连接神经网络(BPnetwork)-操作流程(3) 】
人工智能·算法
沉下心来学鲁班3 小时前
复现LLM:带你从零认识语言模型
人工智能·语言模型