alma8.10中使用gcc13并安装vllm

其实初衷是想在alma中使用vllm。

但是安装编译时提示出错,因为alma中是安装的gcc8.4,所以要想办法解决这个问题。

1、此版本不能再使用crb了,这个已经弃用了,使用powertools。

bash 复制代码
dnf config-manager --set-enabled powertools

2、尝试安装

bash 复制代码
dnf install gcc-toolset-13-gcc gcc-toolset-13-gcc-c++

3、激活环境

bash 复制代码
scl enable gcc-toolset-13 bash

4、版本已经正确了

bash 复制代码
(base) [root@localhost yum.repos.d]# gcc --version
gcc (GCC) 13.3.1 20240611 (Red Hat 13.3.1-2)
Copyright (C) 2023 Free Software Foundation, Inc.
This is free software; see the source for copying conditions.  There is NO
warranty; not even for MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.

5、登录生效

bash 复制代码
echo "source /opt/rh/gcc-toolset-13/enable" >> ~/.bashrc
source ~/.bashrc

6、安装vllm

bash 复制代码
pip install vllm
相关推荐
Briwisdom15 小时前
LLM 推理引擎架构:vLLM / SGLang 的核心设计
架构·vllm·sglang·pagedattention·radixattention
陈 洪 伟2 天前
大模型推理引擎 vLLM(28):custom_all_reduce 单机/跨节点原理(IPC、Fabric、HSA)
fabric·vllm
一颗小树x4 天前
NVIDIA Jetson Thor 运行 LLM / VLM:模型全整理与 vLLM 实践
人工智能·llm·jetson·vllm
一个王同学4 天前
从零到一 | CV转多模态大模型 | week17 | LLM 推理优化 & vLLM 详解
人工智能·深度学习·算法·机器学习·计算机视觉·vllm
换个昵称24 天前
大模型学习8下-高性能推理引擎vLLM学习笔记
笔记·学习·vllm
Token炼金师4 天前
引擎四强:vLLM、SGLang、TensorRT-LLM 与 llama.cpp —— 推理引擎选型对决
人工智能·llm·llama·vllm·tensorrt-llm·sglang
武子康6 天前
调查研究-224 Prefill 与 Decode 分离:高并发 LLM Serving 的下一层架构
人工智能·ai·架构·llm·gpu·vllm·sglang
zhanghaofaowhrql6 天前
vLLM 与 SGLang 推理框架性能横评:架构、吞吐与延迟的深度解析
架构·vllm·sglang
高级打杂工程师-伍六六7 天前
【昇腾】本地 27B 编程模型接入 Claude Code 实战:Qwopus3.6-27B-Coder 在 vLLM-Ascend 上的部署与踩坑
昇腾·npu·vllm·claude code
聪明的一休丶8 天前
VLLM v0.24.0 版本深度解析:新引擎、新架构与大规模服务全家桶升级
python·架构·vllm