【大语言模型_4】源码编译vllm框架cpu版

背景:

通过官方提供的pip install vllm安装的vllm框架不支持cpu加载模型。因此需要本地编译。

系统环境

操作系统:欧拉2203

python版本:3.10

编译步骤

一、安装gcc/g++/cmake

1、下载源码:https://github.com/vllm-project/vllm

安装环境准备

1、gcc/g++ 安装版本要求12.0版本及以上

2、 cmake版本要求3.26及以上

因为本人使用系统为uos1070e,官方提供版本较低,所以均选择源码安装

1、gcc/g++源码安装:【运维】欧拉2203操作系统源码编译gcc-CSDN博客

2、cmake源码安装:【运维】源码编译安装cmake-CSDN博客

二、安装numctl-devel
复制代码
yum install numactl-devel

# 备注 
根据官方提供需要安装apt-get install libnuma-dev
对于基于 Red Hat 的系统(如 CentOS 和 Fedora),NUMA 相关的开发库通常包含在 numactl-devel 软件包中,而不是 libnuma-devel。选择安装 numactl-devel即可

三、pip下载依赖项

复制代码
pip install --upgrade pip
pip install "cmake>=3.26" wheel packaging ninja "setuptools-scm>=8" numpy
# 进入vllm源码根目录
pip install -v -r requirements-cpu.txt --extra-index-url https://download.pytorch.org/whl/cpu
四、源码开始编译vllm
复制代码
VLLM_TARGET_DEVICE=cpu python setup.py install

错误排查:

1、vllm源码编译安装完成后,运行模型提示operator torchvision::nms does not exist错误

解决方法:安装torchvisioncpu版本

下载路径:https://download.pytorch.org/whl/torchvision

参考链接:

1、本地vllm部署DeepSeek,但CPU:https://zhuanlan.zhihu.com/p/22968294287

2、报错,operator torchvision::nms does not exist:https://download.csdn.net/blog/column/7248164/143227045

3、vllm中文网站:安装 | vLLM 中文站

相关推荐
G.E.N.27 分钟前
开源!RAG竞技场(2):标准RAG算法
大数据·人工智能·深度学习·神经网络·算法·llm·rag
西西弗Sisyphus37 分钟前
如果让计算机理解人类语言- Word2Vec(Word to Vector,2013)
人工智能·word·word2vec
前端双越老师1 小时前
30 行代码 langChain.js 开发你的第一个 Agent
人工智能·node.js·agent
东坡肘子1 小时前
高温与奇怪的天象 | 肘子的 Swift 周报 #092
人工智能·swiftui·swift
KaneLogger2 小时前
视频转文字,别再反复拖进度条了
前端·javascript·人工智能
度假的小鱼2 小时前
从 “人工编码“ 到 “AI 协同“:大模型如何重塑软件开发的效率与范式
人工智能
zm-v-159304339863 小时前
ArcGIS 水文分析升级:基于深度学习的流域洪水演进过程模拟
人工智能·深度学习·arcgis
拓端研究室4 小时前
视频讲解|核密度估计朴素贝叶斯:业务数据分类—从理论到实践
人工智能·分类·数据挖掘
灵智工坊LingzhiAI4 小时前
人体坐姿检测系统项目教程(YOLO11+PyTorch+可视化)
人工智能·pytorch·python
昨日之日20064 小时前
Video Background Remover V3版 - AI视频一键抠像/视频换背景 支持50系显卡 一键整合包下载
人工智能·音视频