ubuntu大模型GPU版本安装及部署

版本查看:

nvidia-smi

离线下载地址:

下载 NVIDIA 官方驱动 | NVIDIA (选型)

Linux x64 (AMD64/EM64T) Display Driver | 535.146.02 | Linux 64-bit | NVIDIA(选型结果)

下载 NVIDIA 官方驱动 | NVIDIA

apt-get update

禁用nouveau(nouveau是通用的驱动程序)必须

sudo gedit /etc/modprobe.d/blacklist.conf 或者(blacklist-nouveau.conf) 如果找不到 就用vim 进行编译

在打开的blacklist.conf末尾添加如下保存文本关闭

复制代码
blacklist nouveau

options nouveau modeset=0

注意:lsmod | grep nouveau 为空说明设置完毕

sudo apt-get install g++

sudo apt-get install gcc

sudo apt-get install make

sudo apt-get install dkms

sudo apt install libqt5qml5 libqt5quick5 libqt5quickwidgets5 qml-module-qtquick2

sudo apt install libgsettings-qt1

ubuntu-drivers devices

sudo apt install nvidia-utils-535 (nvidia-smi在线安装)

成功截图

cuda 选型

https://developer.nvidia.com/cuda-downloads (选型)

wget https://developer.download.nvidia.com/compute/cuda/12.3.2/local_installers/cuda_12.3.2_545.23.08_linux.run

sudo sh cuda_12.3.2_545.23.08_linux.run

上面会弹框出画面,直接向下切换选项,点界面 install 选项进行安装即刻

sudo apt-get install cuda-toolkit 标黄的俩项最后再装,先看是否安装成功

sudo apt-get install cuda-drivers

环境变量设置:

添加

export PATH="/usr/local/anaconda3:$PATH"

export CUDA_HOME=/usr/local/cuda

export LD_LIBRARY_PATH={LD_LIBARY_PATH}:{CUDA_HOME}/lib64

export PATH={CUDA_HOME}/bin:{PATH}

source

source ~/.bashrc

注:名词解释

ubuntu-drivers devices 查看显卡硬件支持的驱动类型(在使用前需要sudo apt update更新源)

nvidia-smi 查看当前显卡驱动(若没有会返回错误,该命令应为显卡驱动自动安装,切勿按照提示手动安装)

nvcc -V 查看系统安装的cuda驱动(注意这是系统当前使用的cuda驱动,也可以同时存在多个cuda,使用conda+pytorch可以在多个虚拟环境中管理不同的cuda版本)

相关推荐
矛取矛求8 分钟前
日期类的实现
开发语言·c++·算法
非ban必选9 分钟前
netty-scoket.io路径配置
java·服务器·前端
yinmaisoft17 分钟前
当低代码遇上AI,有趣,实在有趣
android·人工智能·低代码·开发工具·rxjava
正经教主19 分钟前
【慢教程】Ollama4:ollama命令汇总
人工智能·ollama
大翻哥哥19 分钟前
Python 2025:AI工程化与智能代理开发实战
开发语言·人工智能·python
fasewer20 分钟前
玄机--windows日志分析
运维·服务器·windows·网络安全
Linux运维技术栈33 分钟前
域名网页加载慢怎么解决:从测速到优化的全链路性能优化实战
运维·网络·nginx·性能优化·cloudflare
会开花的二叉树36 分钟前
彻底搞懂 Linux 基础 IO:从文件操作到缓冲区,打通底层逻辑
linux·服务器·c++·后端
在下雨59938 分钟前
项目讲解1
开发语言·数据结构·c++·算法·单例模式
中杯可乐多加冰41 分钟前
深度解析文心大模型X1.1:智能涌现与技术革新
人工智能