alma8.10中使用gcc13并安装vllm

其实初衷是想在alma中使用vllm。

但是安装编译时提示出错,因为alma中是安装的gcc8.4,所以要想办法解决这个问题。

1、此版本不能再使用crb了,这个已经弃用了,使用powertools。

bash 复制代码
dnf config-manager --set-enabled powertools

2、尝试安装

bash 复制代码
dnf install gcc-toolset-13-gcc gcc-toolset-13-gcc-c++

3、激活环境

bash 复制代码
scl enable gcc-toolset-13 bash

4、版本已经正确了

bash 复制代码
(base) [root@localhost yum.repos.d]# gcc --version
gcc (GCC) 13.3.1 20240611 (Red Hat 13.3.1-2)
Copyright (C) 2023 Free Software Foundation, Inc.
This is free software; see the source for copying conditions.  There is NO
warranty; not even for MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.

5、登录生效

bash 复制代码
echo "source /opt/rh/gcc-toolset-13/enable" >> ~/.bashrc
source ~/.bashrc

6、安装vllm

bash 复制代码
pip install vllm
相关推荐
~kiss~11 天前
高性能大语言模型推理与服务框架(推理引擎)vLLM
人工智能·语言模型·vllm
hit56实验室11 天前
明明已经把vllm被强制kill了,但是仍然占用GPU显存
vllm
陈 洪 伟12 天前
大模型推理引擎vLLM(14): 什么是MLA多头潜在注意力
vllm·mla
陈 洪 伟13 天前
大模型推理引擎vLLM(12): vLLM Prefix Caching以及eviction的相关问题和代码
vllm·prefix caching
深刻如此13 天前
Qwen2.5-7B-Instruct实战教程:Chainlit集成WebSocket实时通信增强
大语言模型·文本生成·vllm·chainlit
长路 ㅤ   14 天前
快速了解VLLM推理引擎
模型部署·vllm·xinference·推理引擎·ai框架
陈 洪 伟14 天前
大模型推理引擎vLLM(9): vLLM 基本代码结构
vllm
SmartBrain14 天前
技术总结:VLLM部署Qwen3模型的详解
开发语言·人工智能·算法·vllm
陈 洪 伟14 天前
大模型推理引擎vLLM(10): vLLM 分布式推理源码结构解析
分布式·vllm
鱼总美签16 天前
ClawdBot保姆级教学:解决Gateway not reachable错误的5种方法
ai助手·vllm·本地大模型·clawdbot