ubuntu 18 cuda 11.8 安装 vllm

根据官方文档

复制代码
# Install vLLM with CUDA 11.8.
export VLLM_VERSION=0.4.0
export PYTHON_VERSION=310
pip install https://github.com/vllm-project/vllm/releases/download/v${VLLM_VERSION}/vllm-${VLLM_VERSION}+cu118-cp${PYTHON_VERSION}-cp${PYTHON_VERSION}-manylinux1_x86_64.whl --extra-index-url https://download.pytorch.org/whl/cu118

安装后启动

复制代码
python -m vllm.entrypoints.openai.api_server \
    --model Qwen/Qwen2-7B-Instruct \
    --tensor-parallel-size 2 \
    --port 9191

报错

复制代码
Failed to import NCCL library: libnccl.so.2: cannot open shared object file: No such file or directory

需要安装官方nccl

https://developer.nvidia.com/nccl/nccl-legacy-downloads

复制代码
wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu1804/x86_64/cuda-keyring_1.0-1_all.deb
sudo dpkg -i cuda-keyring_1.0-1_all.deb
sudo apt-get update


sudo apt install libnccl2=2.15.5-1+cuda11.8 libnccl-dev=2.15.5-1+cuda11.8
相关推荐
郝学胜-神的一滴14 分钟前
深入探索 Python 元组:从基础到高级应用
运维·服务器·开发语言·python·程序人生
CheungChunChiu17 分钟前
嵌入式 Linux 启动机制全解析:从 Boot 到 Rootfs
linux·运维·服务器·ubuntu·uboot·boot·extboot
白鹭18 分钟前
nginx(介绍+源码安装+平滑升级和回滚)
linux·运维·服务器·nginx·回滚·平滑升级
DTS小夏42 分钟前
Linux 系统 + IDEA+Scala 插件:新手进阶开发指南
linux·scala·intellij-idea
老黄编程1 小时前
--gpu-architecture <arch> (-arch)
linux·人工智能·机器学习
肖爱Kun1 小时前
LINUX中USB驱动架构—URB请求块
linux·驱动
wanhengidc1 小时前
云手机在办公领域中自动化的应用
运维·智能手机·自动化
鹿鸣天涯3 小时前
使用VMware Workstation Pro搭建Ubuntu服务器虚拟机
ubuntu
知星小度S3 小时前
系统核心解析:深入操作系统内部机制——进程管理与控制指南(一)【进程/PCB】
linux·运维·服务器·进程
linjoe997 小时前
【Deep Learning】Ubuntu配置深度学习环境
人工智能·深度学习·ubuntu