alma8.10中使用gcc13并安装vllm

其实初衷是想在alma中使用vllm。

但是安装编译时提示出错,因为alma中是安装的gcc8.4,所以要想办法解决这个问题。

1、此版本不能再使用crb了,这个已经弃用了,使用powertools。

bash 复制代码
dnf config-manager --set-enabled powertools

2、尝试安装

bash 复制代码
dnf install gcc-toolset-13-gcc gcc-toolset-13-gcc-c++

3、激活环境

bash 复制代码
scl enable gcc-toolset-13 bash

4、版本已经正确了

bash 复制代码
(base) [root@localhost yum.repos.d]# gcc --version
gcc (GCC) 13.3.1 20240611 (Red Hat 13.3.1-2)
Copyright (C) 2023 Free Software Foundation, Inc.
This is free software; see the source for copying conditions.  There is NO
warranty; not even for MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.

5、登录生效

bash 复制代码
echo "source /opt/rh/gcc-toolset-13/enable" >> ~/.bashrc
source ~/.bashrc

6、安装vllm

bash 复制代码
pip install vllm
相关推荐
鬓戈1 天前
Qwen3.8-27B + vLLM 性能优化
人工智能·性能优化·vllm
昇腾知识体系1 天前
vLLM-Ascend 支持矩阵:supported_models 模型列表、BF16/ACLGraph 支持项核对方法
人工智能·华为·知识图谱·vllm
Είναι η κοπέλα2 天前
本地大模型部署完全指南:Ollama / vLLM / llama.cpp / MLX 四大引擎横评与选型实战
macos·llama·vllm
零依赖极客3 天前
Day 6·1 ARMv8.2 dotprod——vdotq_s32 一条指令做 4 个点积
c语言·开发语言·人工智能·矩阵·arm·vllm
Albart5753 天前
大模型无限循环输出、重复生成文本:参数层面规避幻觉输出实战
大模型·llm·vllm·大模型推理·幻觉·重复输出
早睡早起身体好1234 天前
用 XGrammar 约束大模型工具调用:解决参数为空的问题
android·人工智能·神经网络·机器学习·自然语言处理·vllm
basketball6167 天前
AI Infra 推理部署技术总结:2. vLLM 内核——PagedAttention 与调度器原理
android·人工智能·vllm·ai infra
CV-杨帆9 天前
在自己的服务器上搭建VLLM 以Qwen3.5-0.8B与Qwen3.5-4B为模型基础
运维·服务器·vllm