之前在网上查过很多资料,没有一个可以完整安装下来的,包括deepseek给出的方案也不行,自己亲测安装记录一下。
安装驱动 & CUDA
sudo apt update
sudo apt install -y nvidia-driver-550
sudo reboot
安装curl
sudo apt install curl
使用包管理器(如 apt, yum, dnf 等)
sudo apt update
sudo apt install libuv1-dev # 安装开发库
安装后重启终端或运行
source ~/.bashrc
为了避免安装时出现设备空间不足,修改缓存路径
清理/tmp目录
sudo rm -rf /tmp/*
创建一个新的文件夹
mkdir tmp
添加行
export TMPDIR=/home/vlm/tmp
确保系统已更新
sudo apt update && sudo apt upgrade -y
安装node.js
curl -sL https://deb.nodesource.com/setup_14.x | sudo -E bash -
sudo apt-get install -y nodejs
然后,你可以使用 npm 来安装 uv 或任何相关的 Node.js 包:
npm install uv
安装其他语言的库
sudo apt-get install python3-pip
pip3 install uvloop # 例如,安装 uvloop,这是一个 Python 的异步库
安装pipx
sudo apt install pipx
安装uv工具
pipx install uv
安装 astral-uv Snap 包
sudo snap install astral-uv --classic
查看uv版本
uv --version
安装 Python 3.12 和相关工具
curl -Ls https://astral.sh/uv/install.sh | bash
uv venv vllm-env --python 3.12 --seed
source vllm-env/bin/activate
查看python版本
python3.12 --version
安装pip
sudo apt install python3-pip
更新pip版本
pip install --upgrade pip
不缓存vllm安装
pip install --no-cache-dir vllm -i https://pypi.tuna.tsinghua.edu.cn/simple
验证
pip show vllm