ubuntu大模型GPU版本安装及部署

版本查看:

nvidia-smi

离线下载地址:

下载 NVIDIA 官方驱动 | NVIDIA (选型)

Linux x64 (AMD64/EM64T) Display Driver | 535.146.02 | Linux 64-bit | NVIDIA(选型结果)

下载 NVIDIA 官方驱动 | NVIDIA

apt-get update

禁用nouveau(nouveau是通用的驱动程序)必须

sudo gedit /etc/modprobe.d/blacklist.conf 或者(blacklist-nouveau.conf) 如果找不到 就用vim 进行编译

在打开的blacklist.conf末尾添加如下保存文本关闭

复制代码
blacklist nouveau

options nouveau modeset=0

注意:lsmod | grep nouveau 为空说明设置完毕

sudo apt-get install g++

sudo apt-get install gcc

sudo apt-get install make

sudo apt-get install dkms

sudo apt install libqt5qml5 libqt5quick5 libqt5quickwidgets5 qml-module-qtquick2

sudo apt install libgsettings-qt1

ubuntu-drivers devices

sudo apt install nvidia-utils-535 (nvidia-smi在线安装)

成功截图

cuda 选型

https://developer.nvidia.com/cuda-downloads (选型)

wget https://developer.download.nvidia.com/compute/cuda/12.3.2/local_installers/cuda_12.3.2_545.23.08_linux.run

sudo sh cuda_12.3.2_545.23.08_linux.run

上面会弹框出画面,直接向下切换选项,点界面 install 选项进行安装即刻

sudo apt-get install cuda-toolkit 标黄的俩项最后再装,先看是否安装成功

sudo apt-get install cuda-drivers

环境变量设置:

添加

export PATH="/usr/local/anaconda3:$PATH"

export CUDA_HOME=/usr/local/cuda

export LD_LIBRARY_PATH={LD_LIBARY_PATH}:{CUDA_HOME}/lib64

export PATH={CUDA_HOME}/bin:{PATH}

source

source ~/.bashrc

注:名词解释

ubuntu-drivers devices 查看显卡硬件支持的驱动类型(在使用前需要sudo apt update更新源)

nvidia-smi 查看当前显卡驱动(若没有会返回错误,该命令应为显卡驱动自动安装,切勿按照提示手动安装)

nvcc -V 查看系统安装的cuda驱动(注意这是系统当前使用的cuda驱动,也可以同时存在多个cuda,使用conda+pytorch可以在多个虚拟环境中管理不同的cuda版本)

相关推荐
满分观察网友z5 分钟前
从一次手滑,我洞悉了用户输入的所有可能性(3330. 找到初始输入字符串 I)
算法
xiangduanjava9 分钟前
关于安装Ollama大语言模型本地部署工具
人工智能·语言模型·自然语言处理
会又不会9 分钟前
Jenkins-Publish HTML reports插件
运维·jenkins
烟雨书信21 分钟前
Docker文件操作、数据卷、挂载
运维·docker·容器
IT成长日记24 分钟前
【Docker基础】Docker数据卷管理:docker volume prune及其参数详解
运维·docker·容器·volume·prune
YuTaoShao26 分钟前
【LeetCode 热题 100】73. 矩阵置零——(解法二)空间复杂度 O(1)
java·算法·leetcode·矩阵
Heartoxx27 分钟前
c语言-指针(数组)练习2
c语言·数据结构·算法
zzywxc78729 分钟前
AI 正在深度重构软件开发的底层逻辑和全生命周期,从技术演进、流程重构和未来趋势三个维度进行系统性分析
java·大数据·开发语言·人工智能·spring
这儿有一堆花30 分钟前
Docker编译环境搭建与开发实战指南
运维·docker·容器
LuckyLay30 分钟前
Compose 高级用法详解——AI教你学Docker
运维·docker·容器