【大语言模型_4】源码编译vllm框架cpu版

没枕头我咋睡觉2025-02-22 20:04

背景：

通过官方提供的pip install vllm安装的vllm框架不支持cpu加载模型。因此需要本地编译。

系统环境

操作系统：欧拉2203

python版本：3.10

编译步骤

一、安装gcc/g++/cmake

1、下载源码：https://github.com/vllm-project/vllm

安装环境准备

1、gcc/g++ 安装版本要求12.0版本及以上

2、 cmake版本要求3.26及以上

因为本人使用系统为uos1070e，官方提供版本较低，所以均选择源码安装

1、gcc/g++源码安装：【运维】欧拉2203操作系统源码编译gcc-CSDN博客

2、cmake源码安装：【运维】源码编译安装cmake-CSDN博客

二、安装numctl-devel

复制代码

yum install numactl-devel

# 备注 
根据官方提供需要安装apt-get install libnuma-dev
对于基于 Red Hat 的系统（如 CentOS 和 Fedora），NUMA 相关的开发库通常包含在 numactl-devel 软件包中，而不是 libnuma-devel。选择安装 numactl-devel即可

三、pip下载依赖项

复制代码

pip install --upgrade pip
pip install "cmake>=3.26" wheel packaging ninja "setuptools-scm>=8" numpy
# 进入vllm源码根目录
pip install -v -r requirements-cpu.txt --extra-index-url https://download.pytorch.org/whl/cpu

四、源码开始编译vllm

复制代码

VLLM_TARGET_DEVICE=cpu python setup.py install

错误排查：

1、vllm源码编译安装完成后，运行模型提示operator torchvision::nms does not exist错误

解决方法：安装torchvisioncpu版本

下载路径：https://download.pytorch.org/whl/torchvision

参考链接：

1、本地vllm部署DeepSeek，但CPU：https://zhuanlan.zhihu.com/p/22968294287

2、报错，operator torchvision::nms does not exist：https://download.csdn.net/blog/column/7248164/143227045

3、vllm中文网站：安装 | vLLM 中文站