ubuntu24.04安装CUDA和VLLM

前期说明

系统具体版本：Ubuntu24.04.2-LTS

🔧 Ubuntu 24.04 专用 CUDA 安装步骤

bash 复制代码

# 1. 添加官方 NVIDIA 仓库
distribution=$(. /etc/os-release;echo $ID$VERSION_ID | sed -e 's/\.//g')
echo "deb https://developer.download.nvidia.com/compute/cuda/repos/$distribution/x86_64 /" | sudo tee /etc/apt/sources.list.d/cuda.list

# 2. 添加签名密钥
sudo apt-key adv --fetch-keys https://developer.download.nvidia.com/compute/cuda/repos/$distribution/x86_64/3bf863cc.pub

# 3. 更新并安装 CUDA Toolkit
sudo apt update
sudo apt install -y cuda-toolkit-12-5  # 24.04 推荐使用 12.5 版本

# 4. 设置环境变量
echo 'export PATH=/usr/local/cuda-12.5/bin:$PATH' | sudo tee -a /etc/profile.d/cuda.sh
echo 'export LD_LIBRARY_PATH=/usr/local/cuda-12.5/lib64:$LD_LIBRARY_PATH' | sudo tee -a /etc/profile.d/cuda.sh
source /etc/profile

# 5. 验证安装
nvcc --version  # 应显示 CUDA 12.5

💡 如果仍遇到依赖问题，使用以下替代方案

bash 复制代码

# 1. 安装基础依赖
sudo apt install -y build-essential libtinfo6 libncurses5

# 2. 创建符号链接解决兼容性问题
sudo ln -s /usr/lib/x86_64-linux-gnu/libtinfo.so.6 /usr/lib/x86_64-linux-gnu/libtinfo.so.5
sudo ln -s /usr/lib/x86_64-linux-gnu/libncurses.so.6 /usr/lib/x86_64-linux-gnu/libncurses.so.5

# 3. 仅安装核心组件
sudo apt install -y --no-install-recommends \
    cuda-compiler-12-5 \
    cuda-cudart-dev-12-5 \
    cuda-libraries-dev-12-5 \
    cuda-nvml-dev-12-5

✅ 验证安装是否成功

bash 复制代码

# 测试 CUDA
python -c "import torch; print(torch.cuda.is_available()); print(torch.version.cuda)"

# 测试 vLLM 基础功能
python -c "from vllm import LLM; print('vLLM loaded successfully')"

这样就安装成功了

⚠️ 针对 Ubuntu 24.04 的重要提示

CUDA 版本选择：
- Ubuntu 24.04 官方支持 CUDA 12.5，不兼容CUDA12.4！
- vLLM 完全兼容 CUDA 12.5
Python 版本：
- Ubuntu 24.04 自带 Python 3.12
- vLLM 目前建议使用 Python 3.10
- 使用 Conda 创建独立 Python 3.10 环境

系统依赖：

bash 复制代码

# 安装必要系统库
sudo apt install -y libcusparse-12-5 libcublas-12-5 libcusolver-12-5

如果仍遇到问题，考虑使用 Docker 方案：

bash 复制代码

docker run --gpus all -it --rm nvcr.io/nvidia/pytorch:24.05-py3
# 在容器内安装 vLLM
pip install vllm