本文参考机器学习环境搭建,唯一的区别在于Linux是Debian 12 而不是Ubuntu Server 22.04 LTS。演示的环境的硬件为AWS EC2 g4dn机型,它搭载了一颗服务器专用的T4 Tensor Core GPU,Amazon EC2 G4dn 实例专用于加速机器学习推理和图形密集型工作负载,它搭载的T4 Tensor Core GPU有16GB的显存,非常适合中等负荷下的AI场景。本次我使用的是最经济的g4dn.xlarge
。你自己也可以组装在你的个人电脑(需要Nvidia消费级显卡)上正常复现安装流程。
选择Debian 12的原因是因为相比Ubuntu Server LTS,Debian没有商业化气息,没有预装乱七八糟的无用的软件,更加稳定和纯洁。
同时Ubuntu Server LTS会定期更新Linux 内核版本,有些Linux 内核版本还不一定是LTS版,虽然从新硬件的支持和软件新特性的角度来看有好处,但是服务器场景用起来总感觉不如CentOS/RHEL和Debian稳定而且可能有软件兼容性问题。总之见仁见智吧~
安装Nvidia Driver
检查Linux服务器上的VGA显卡信息,我们可以看到Nvidia GPU的具体型号
bash
lspci -nn | egrep -i "3d|display|vga"

修改/etc/apt/sources.list
,确保添加了contrib
、non-free
、 non-free-firmware
组件
bash
deb http://deb.debian.org/debian/ bookworm main contrib non-free non-free-firmware

先更新Linux并安装必要的编译组件
bash
sudo apt update -y && sudo apt upgrade -y && sudo apt install vim gcc g++ make python3-pip -y

安装必要的nvidia gpu驱动依赖组件
bash
sudo apt install nvidia-detect -y
sudo apt install linux-headers-amd64 linux-headers-$(uname -r) build-essential libglvnd-dev pkg-config -y

安装nvidia gpu驱动
bash
sudo apt install nvidia-driver firmware-misc-nonfree nvidia-kernel-dkms -y

重启
bash
sudo reboot
检查驱动安装情况
bash
nvidia-smi
