【大语言模型_4】源码编译vllm框架cpu版

背景:

通过官方提供的pip install vllm安装的vllm框架不支持cpu加载模型。因此需要本地编译。

系统环境

操作系统:欧拉2203

python版本:3.10

编译步骤

一、安装gcc/g++/cmake

1、下载源码:https://github.com/vllm-project/vllm

安装环境准备

1、gcc/g++ 安装版本要求12.0版本及以上

2、 cmake版本要求3.26及以上

因为本人使用系统为uos1070e,官方提供版本较低,所以均选择源码安装

1、gcc/g++源码安装:【运维】欧拉2203操作系统源码编译gcc-CSDN博客

2、cmake源码安装:【运维】源码编译安装cmake-CSDN博客

二、安装numctl-devel
复制代码
yum install numactl-devel

# 备注 
根据官方提供需要安装apt-get install libnuma-dev
对于基于 Red Hat 的系统(如 CentOS 和 Fedora),NUMA 相关的开发库通常包含在 numactl-devel 软件包中,而不是 libnuma-devel。选择安装 numactl-devel即可

三、pip下载依赖项

复制代码
pip install --upgrade pip
pip install "cmake>=3.26" wheel packaging ninja "setuptools-scm>=8" numpy
# 进入vllm源码根目录
pip install -v -r requirements-cpu.txt --extra-index-url https://download.pytorch.org/whl/cpu
四、源码开始编译vllm
复制代码
VLLM_TARGET_DEVICE=cpu python setup.py install

错误排查:

1、vllm源码编译安装完成后,运行模型提示operator torchvision::nms does not exist错误

解决方法:安装torchvisioncpu版本

下载路径:https://download.pytorch.org/whl/torchvision

参考链接:

1、本地vllm部署DeepSeek,但CPU:https://zhuanlan.zhihu.com/p/22968294287

2、报错,operator torchvision::nms does not exist:https://download.csdn.net/blog/column/7248164/143227045

3、vllm中文网站:安装 | vLLM 中文站

相关推荐
RAG专家1 小时前
【Mixture-of-RAG】将文本和表格与大型语言模型相结合
人工智能·语言模型·rag·检索增强生成
星期天要睡觉4 小时前
自然语言处理(NLP)——自然语言处理原理、发展历程、核心技术
人工智能·自然语言处理
低音钢琴4 小时前
【人工智能系列:机器学习学习和进阶01】机器学习初学者指南:理解核心算法与应用
人工智能·算法·机器学习
大千AI助手5 小时前
Hoeffding树:数据流挖掘中的高效分类算法详解
人工智能·机器学习·分类·数据挖掘·流数据··hoeffding树
新知图书6 小时前
大模型微调定义与分类
人工智能·大模型应用开发·大模型应用
山烛6 小时前
一文读懂YOLOv4:目标检测领域的技术融合与性能突破
人工智能·yolo·目标检测·计算机视觉·yolov4
大千AI助手6 小时前
独热编码:分类数据处理的基石技术
人工智能·机器学习·分类·数据挖掘·特征工程·one-hot·独热编码
钱彬 (Qian Bin)6 小时前
项目实践4—全球证件智能识别系统(Qt客户端开发+FastAPI后端人工智能服务开发)
人工智能·qt·fastapi
钱彬 (Qian Bin)6 小时前
项目实践3—全球证件智能识别系统(Qt客户端开发+FastAPI后端人工智能服务开发)
人工智能·qt·fastapi
Microsoft Word6 小时前
向量数据库与RAG
数据库·人工智能·向量数据库·rag