ubuntu大模型GPU版本安装及部署

版本查看:

nvidia-smi

离线下载地址:

下载 NVIDIA 官方驱动 | NVIDIA (选型)

Linux x64 (AMD64/EM64T) Display Driver | 535.146.02 | Linux 64-bit | NVIDIA(选型结果)

下载 NVIDIA 官方驱动 | NVIDIA

apt-get update

禁用nouveau(nouveau是通用的驱动程序)必须

sudo gedit /etc/modprobe.d/blacklist.conf 或者(blacklist-nouveau.conf) 如果找不到 就用vim 进行编译

在打开的blacklist.conf末尾添加如下保存文本关闭

blacklist nouveau

options nouveau modeset=0

注意:lsmod | grep nouveau 为空说明设置完毕

sudo apt-get install g++

sudo apt-get install gcc

sudo apt-get install make

sudo apt-get install dkms

sudo apt install libqt5qml5 libqt5quick5 libqt5quickwidgets5 qml-module-qtquick2

sudo apt install libgsettings-qt1

ubuntu-drivers devices

sudo apt install nvidia-utils-535 (nvidia-smi在线安装)

成功截图

cuda 选型

https://developer.nvidia.com/cuda-downloads (选型)

wget https://developer.download.nvidia.com/compute/cuda/12.3.2/local_installers/cuda_12.3.2_545.23.08_linux.run

sudo sh cuda_12.3.2_545.23.08_linux.run

上面会弹框出画面,直接向下切换选项,点界面 install 选项进行安装即刻

sudo apt-get install cuda-toolkit 标黄的俩项最后再装,先看是否安装成功

sudo apt-get install cuda-drivers

环境变量设置:

添加

export PATH="/usr/local/anaconda3:$PATH"

export CUDA_HOME=/usr/local/cuda

export LD_LIBRARY_PATH={LD_LIBARY_PATH}:{CUDA_HOME}/lib64

export PATH={CUDA_HOME}/bin:{PATH}

source

source ~/.bashrc

注:名词解释

ubuntu-drivers devices 查看显卡硬件支持的驱动类型(在使用前需要sudo apt update更新源)

nvidia-smi 查看当前显卡驱动(若没有会返回错误,该命令应为显卡驱动自动安装,切勿按照提示手动安装)

nvcc -V 查看系统安装的cuda驱动(注意这是系统当前使用的cuda驱动,也可以同时存在多个cuda,使用conda+pytorch可以在多个虚拟环境中管理不同的cuda版本)

相关推荐
Yaml41 分钟前
Java的六大排序
java·算法·排序算法
极客代码2 分钟前
【Python TensorFlow】进阶指南(续篇二)
开发语言·人工智能·python·深度学习·tensorflow
池央22 分钟前
丹摩征文活动 | 搭建 CogVideoX-2b详细教程:用短短6秒展现创作魅力
人工智能
九年义务漏网鲨鱼23 分钟前
【人脸伪造检测后门攻击】 Exploring Frequency Adversarial Attacks for Face Forgery Detection
论文阅读·python·算法·aigc
_OLi_29 分钟前
力扣 LeetCode 977. 有序数组的平方(Day1:数组)
数据结构·算法·leetcode
QYR市场调研33 分钟前
5G时代的关键元件:射频微波MLCCs市场前景广阔
人工智能
脱了格子衬衫35 分钟前
linux安装ansible
linux·运维·ansible
AI小白日记43 分钟前
深入探索AutoDL平台:深度学习GPU算力最佳选择
人工智能·深度学习·gpu算力
励志成为嵌入式工程师44 分钟前
c语言选择排序
c语言·算法·排序算法
小丑西瓜66644 分钟前
MySQL库操作
linux·服务器·数据库·mysql