ubuntu 18 cuda 11.8 安装 vllm

根据官方文档

复制代码
# Install vLLM with CUDA 11.8.
export VLLM_VERSION=0.4.0
export PYTHON_VERSION=310
pip install https://github.com/vllm-project/vllm/releases/download/v${VLLM_VERSION}/vllm-${VLLM_VERSION}+cu118-cp${PYTHON_VERSION}-cp${PYTHON_VERSION}-manylinux1_x86_64.whl --extra-index-url https://download.pytorch.org/whl/cu118

安装后启动

复制代码
python -m vllm.entrypoints.openai.api_server \
    --model Qwen/Qwen2-7B-Instruct \
    --tensor-parallel-size 2 \
    --port 9191

报错

复制代码
Failed to import NCCL library: libnccl.so.2: cannot open shared object file: No such file or directory

需要安装官方nccl

https://developer.nvidia.com/nccl/nccl-legacy-downloads

复制代码
wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu1804/x86_64/cuda-keyring_1.0-1_all.deb
sudo dpkg -i cuda-keyring_1.0-1_all.deb
sudo apt-get update


sudo apt install libnccl2=2.15.5-1+cuda11.8 libnccl-dev=2.15.5-1+cuda11.8
相关推荐
卡比巴拉—林6 分钟前
HAProxy 实验指南:从零开始搭建高可用负载均衡系统
运维·负载均衡
tanxiaomi18 分钟前
docker 从主机复制文件到容器外进行编辑
运维·docker·容器
七七powerful33 分钟前
sealos 方式安装k8s5节点集群
linux·运维·服务器
lunz_fly199235 分钟前
手动编译安装 MongoDB
linux
小Tomkk1 小时前
AutoLabelImg:高效的数据自动化标注工具和下载
运维·人工智能·自动化
*愿风载尘*2 小时前
SecureCRT连接密钥交换失败
linux·macos
Json____2 小时前
docker搭建部署 onlyoffice 实现前端集成在线解析文档解决方案
运维·docker·容器·在线文档·onlyoffice·文档预览·在线文档解析
basketball6162 小时前
Linux C 进程间高级通信
linux·运维·服务器
是小恐龙啊2 小时前
【测试报告】博客系统(Java+Selenium+Jmeter自动化测试)
运维·服务器
kyle~2 小时前
Windows---动态链接库Dynamic Link Library(.dll)
运维·windows·操作系统·运维开发·开发部署