背景：
通过官方提供的pip install vllm安装的vllm框架不支持cpu加载模型。因此需要本地编译。
系统环境
操作系统：欧拉2203
python版本：3.10
编译步骤
一、安装gcc/g++/cmake
1、下载源码：https://github.com/vllm-project/vllm
安装环境准备
1、gcc/g++ 安装版本要求12.0版本及以上
2、 cmake版本要求3.26及以上
因为本人使用系统为uos1070e，官方提供版本较低，所以均选择源码安装
1、gcc/g++源码安装：【运维】欧拉2203操作系统源码编译gcc-CSDN博客
2、cmake源码安装：【运维】源码编译安装cmake-CSDN博客
二、安装numctl-devel
yum install numactl-devel
# 备注
根据官方提供需要安装apt-get install libnuma-dev
对于基于 Red Hat 的系统（如 CentOS 和 Fedora），NUMA 相关的开发库通常包含在 numactl-devel 软件包中，而不是 libnuma-devel。选择安装 numactl-devel即可
三、pip下载依赖项
pip install --upgrade pip
pip install "cmake>=3.26" wheel packaging ninja "setuptools-scm>=8" numpy
# 进入vllm源码根目录
pip install -v -r requirements-cpu.txt --extra-index-url https://download.pytorch.org/whl/cpu
四、源码开始编译vllm
VLLM_TARGET_DEVICE=cpu python setup.py install
错误排查：
1、vllm源码编译安装完成后，运行模型提示operator torchvision::nms does not exist错误
解决方法：安装torchvisioncpu版本
下载路径：https://download.pytorch.org/whl/torchvision
参考链接：
1、本地vllm部署DeepSeek，但CPU：https://zhuanlan.zhihu.com/p/22968294287
2、报错，operator torchvision::nms does not exist：https://download.csdn.net/blog/column/7248164/143227045
3、vllm中文网站：安装 | vLLM 中文站