alma8.10中使用gcc13并安装vllm

其实初衷是想在alma中使用vllm。

但是安装编译时提示出错,因为alma中是安装的gcc8.4,所以要想办法解决这个问题。

1、此版本不能再使用crb了,这个已经弃用了,使用powertools。

bash 复制代码
dnf config-manager --set-enabled powertools

2、尝试安装

bash 复制代码
dnf install gcc-toolset-13-gcc gcc-toolset-13-gcc-c++

3、激活环境

bash 复制代码
scl enable gcc-toolset-13 bash

4、版本已经正确了

bash 复制代码
(base) [root@localhost yum.repos.d]# gcc --version
gcc (GCC) 13.3.1 20240611 (Red Hat 13.3.1-2)
Copyright (C) 2023 Free Software Foundation, Inc.
This is free software; see the source for copying conditions.  There is NO
warranty; not even for MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.

5、登录生效

bash 复制代码
echo "source /opt/rh/gcc-toolset-13/enable" >> ~/.bashrc
source ~/.bashrc

6、安装vllm

bash 复制代码
pip install vllm
相关推荐
谢白羽1 天前
vLLM-Omni 部署 IndexTTS 2.5
llm·agent·tts·vllm·大模型部署
weixin_440213291 天前
大模型推理核心原理:KV Cache、Prefill、Decode、TTFT、vLLM、算子
vllm·大模型推理·decode·kv cache·prefill·llm 部署
苏子寒1 天前
Nano-VLLM全代码解析笔记(6)-embed_head和linear
pytorch·笔记·python·机器学习·ai·nlp·vllm
Web3&Basketball2 天前
vLLM部署开源大模型实战:显存、命令与成本核算
人工智能·深度学习·大模型·ai技术·vllm
ん贤3 天前
从一个 Token 到 vLLM:推理、量化、适配的理解
vllm
随便做点啥3 天前
32卡×4090 24GB,Qwen3.8-27B-FP8 集群部署报告
服务器·经验分享·docker·vllm
进军的码农5 天前
DeepSeek-V4-Pro 正式版本地部署:联想 ThinkStation P4 硬件架构拆解与推理链路全验证
vllm·deepseek·ai推理·大模型本地部署·联想工作站·thinkstation p4
johnny2335 天前
vLLM理论及实战入门
vllm
我有2只猫6 天前
vLLM Docker 本地部署小模型
docker·容器·vllm
ZJU_统一阿萨姆6 天前
【推理优化进阶】调度器的数学内核:排队论、SLO 与在线决策
开发语言·人工智能·语言模型·系统架构·vllm