ubuntu大模型GPU版本安装及部署

版本查看:

nvidia-smi

离线下载地址:

下载 NVIDIA 官方驱动 | NVIDIA (选型)

Linux x64 (AMD64/EM64T) Display Driver | 535.146.02 | Linux 64-bit | NVIDIA(选型结果)

下载 NVIDIA 官方驱动 | NVIDIA

apt-get update

禁用nouveau(nouveau是通用的驱动程序)必须

sudo gedit /etc/modprobe.d/blacklist.conf 或者(blacklist-nouveau.conf) 如果找不到 就用vim 进行编译

在打开的blacklist.conf末尾添加如下保存文本关闭

复制代码
blacklist nouveau

options nouveau modeset=0

注意:lsmod | grep nouveau 为空说明设置完毕

sudo apt-get install g++

sudo apt-get install gcc

sudo apt-get install make

sudo apt-get install dkms

sudo apt install libqt5qml5 libqt5quick5 libqt5quickwidgets5 qml-module-qtquick2

sudo apt install libgsettings-qt1

ubuntu-drivers devices

sudo apt install nvidia-utils-535 (nvidia-smi在线安装)

成功截图

cuda 选型

https://developer.nvidia.com/cuda-downloads (选型)

wget https://developer.download.nvidia.com/compute/cuda/12.3.2/local_installers/cuda_12.3.2_545.23.08_linux.run

sudo sh cuda_12.3.2_545.23.08_linux.run

上面会弹框出画面,直接向下切换选项,点界面 install 选项进行安装即刻

sudo apt-get install cuda-toolkit 标黄的俩项最后再装,先看是否安装成功

sudo apt-get install cuda-drivers

环境变量设置:

添加

export PATH="/usr/local/anaconda3:$PATH"

export CUDA_HOME=/usr/local/cuda

export LD_LIBRARY_PATH={LD_LIBARY_PATH}:{CUDA_HOME}/lib64

export PATH={CUDA_HOME}/bin:{PATH}

source

source ~/.bashrc

注:名词解释

ubuntu-drivers devices 查看显卡硬件支持的驱动类型(在使用前需要sudo apt update更新源)

nvidia-smi 查看当前显卡驱动(若没有会返回错误,该命令应为显卡驱动自动安装,切勿按照提示手动安装)

nvcc -V 查看系统安装的cuda驱动(注意这是系统当前使用的cuda驱动,也可以同时存在多个cuda,使用conda+pytorch可以在多个虚拟环境中管理不同的cuda版本)

相关推荐
飞哥数智坊9 小时前
GPT-5-Codex 发布,Codex 正在取代 Claude
人工智能·ai编程
倔强青铜三9 小时前
苦练Python第46天:文件写入与上下文管理器
人工智能·python·面试
虫无涯10 小时前
Dify Agent + AntV 实战:从 0 到 1 打造数据可视化解决方案
人工智能
Dm_dotnet12 小时前
公益站Agent Router注册送200刀额度竟然是真的
人工智能
算家计算12 小时前
7B参数拿下30个世界第一!Hunyuan-MT-7B本地部署教程:腾讯混元开源业界首个翻译集成模型
人工智能·开源
机器之心13 小时前
LLM开源2.0大洗牌:60个出局,39个上桌,AI Coding疯魔,TensorFlow已死
人工智能·openai
Juchecar14 小时前
交叉熵:深度学习中最常用的损失函数
人工智能
林木森ai14 小时前
爆款AI动物运动会视频,用Coze(扣子)一键搞定全流程(附保姆级拆解)
人工智能·aigc
JuiceFS14 小时前
从 MLPerf Storage v2.0 看 AI 训练中的存储性能与扩展能力
运维·后端
聚客AI15 小时前
🙋‍♀️Transformer训练与推理全流程:从输入处理到输出生成
人工智能·算法·llm