【大语言模型_4】源码编译vllm框架cpu版

背景:

通过官方提供的pip install vllm安装的vllm框架不支持cpu加载模型。因此需要本地编译。

系统环境

操作系统:欧拉2203

python版本:3.10

编译步骤

一、安装gcc/g++/cmake

1、下载源码:https://github.com/vllm-project/vllm

安装环境准备

1、gcc/g++ 安装版本要求12.0版本及以上

2、 cmake版本要求3.26及以上

因为本人使用系统为uos1070e,官方提供版本较低,所以均选择源码安装

1、gcc/g++源码安装:【运维】欧拉2203操作系统源码编译gcc-CSDN博客

2、cmake源码安装:【运维】源码编译安装cmake-CSDN博客

二、安装numctl-devel
复制代码
yum install numactl-devel

# 备注 
根据官方提供需要安装apt-get install libnuma-dev
对于基于 Red Hat 的系统(如 CentOS 和 Fedora),NUMA 相关的开发库通常包含在 numactl-devel 软件包中,而不是 libnuma-devel。选择安装 numactl-devel即可

三、pip下载依赖项

复制代码
pip install --upgrade pip
pip install "cmake>=3.26" wheel packaging ninja "setuptools-scm>=8" numpy
# 进入vllm源码根目录
pip install -v -r requirements-cpu.txt --extra-index-url https://download.pytorch.org/whl/cpu
四、源码开始编译vllm
复制代码
VLLM_TARGET_DEVICE=cpu python setup.py install

错误排查:

1、vllm源码编译安装完成后,运行模型提示operator torchvision::nms does not exist错误

解决方法:安装torchvisioncpu版本

下载路径:https://download.pytorch.org/whl/torchvision

参考链接:

1、本地vllm部署DeepSeek,但CPU:https://zhuanlan.zhihu.com/p/22968294287

2、报错,operator torchvision::nms does not exist:https://download.csdn.net/blog/column/7248164/143227045

3、vllm中文网站:安装 | vLLM 中文站

相关推荐
九年义务漏网鲨鱼1 小时前
【大模型学习 | MINIGPT-4原理】
人工智能·深度学习·学习·语言模型·多模态
元宇宙时间1 小时前
Playfun即将开启大型Web3线上活动,打造沉浸式GameFi体验生态
人工智能·去中心化·区块链
开发者工具分享1 小时前
文本音频违规识别工具排行榜(12选)
人工智能·音视频
产品经理独孤虾2 小时前
人工智能大模型如何助力电商产品经理打造高效的商品工业属性画像
人工智能·机器学习·ai·大模型·产品经理·商品画像·商品工业属性
老任与码2 小时前
Spring AI Alibaba(1)——基本使用
java·人工智能·后端·springaialibaba
蹦蹦跳跳真可爱5892 小时前
Python----OpenCV(图像増强——高通滤波(索贝尔算子、沙尔算子、拉普拉斯算子),图像浮雕与特效处理)
人工智能·python·opencv·计算机视觉
雷羿 LexChien2 小时前
从 Prompt 管理到人格稳定:探索 Cursor AI 编辑器如何赋能 Prompt 工程与人格风格设计(上)
人工智能·python·llm·编辑器·prompt
两棵雪松3 小时前
如何通过向量化技术比较两段文本是否相似?
人工智能
heart000_13 小时前
128K 长文本处理实战:腾讯混元 + 云函数 SCF 构建 PDF 摘要生成器
人工智能·自然语言处理·pdf
敲键盘的小夜猫3 小时前
LLM复杂记忆存储-多会话隔离案例实战
人工智能·python·langchain