ubuntu 18 cuda 11.8 安装 vllm

根据官方文档

复制代码
# Install vLLM with CUDA 11.8.
export VLLM_VERSION=0.4.0
export PYTHON_VERSION=310
pip install https://github.com/vllm-project/vllm/releases/download/v${VLLM_VERSION}/vllm-${VLLM_VERSION}+cu118-cp${PYTHON_VERSION}-cp${PYTHON_VERSION}-manylinux1_x86_64.whl --extra-index-url https://download.pytorch.org/whl/cu118

安装后启动

复制代码
python -m vllm.entrypoints.openai.api_server \
    --model Qwen/Qwen2-7B-Instruct \
    --tensor-parallel-size 2 \
    --port 9191

报错

复制代码
Failed to import NCCL library: libnccl.so.2: cannot open shared object file: No such file or directory

需要安装官方nccl

https://developer.nvidia.com/nccl/nccl-legacy-downloads

复制代码
wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu1804/x86_64/cuda-keyring_1.0-1_all.deb
sudo dpkg -i cuda-keyring_1.0-1_all.deb
sudo apt-get update


sudo apt install libnccl2=2.15.5-1+cuda11.8 libnccl-dev=2.15.5-1+cuda11.8
相关推荐
鸽芷咕12 分钟前
Rokid 手势识别技术深度解析:解锁 AR 无接触交互的核心秘密
linux
川石课堂软件测试20 分钟前
全链路Controller压测负载均衡
android·运维·开发语言·python·mysql·adb·负载均衡
一枚正在学习的小白28 分钟前
PG数据文件位置迁移
linux·运维·服务器·数据库
Tfly__41 分钟前
Ubuntu 20.04 安装Aerial Gym Simulator - 基于 Gym 的无人机强化学习仿真器
linux·人工智能·ubuntu·github·无人机·强化学习·运动规划
博睿谷IT99_1 小时前
Linux 云计算核心技术:原理、组件与 K8s 实战部署
linux·kubernetes·云计算
疯癫的老码农1 小时前
【Linux环境下安装】SpringBoot应用环境安装(二)-Redis安装
linux·spring boot·redis
点亮一颗LED(从入门到放弃)2 小时前
SQLite3数据库——Linux应用
linux·数据库·sqlite
我科绝伦(Huanhuan Zhou)2 小时前
Systemctl 与 Systemd 全面指南:Linux 系统服务管理详解
linux·服务器·网络
倔强的石头1062 小时前
【Linux指南】Linux命令行进度条实现原理解析
android·linux
---学无止境---2 小时前
Linux中setup_arch和setup_memory相关函数的实现
linux