两张RTX 8000 运行大模型

降级 SGLang 到 0.1.9:0.1.9 版本内置的是 NCCL 2.18(与你系统的版本匹配,适配 Volta 架构);

降低NCCL版本尝试将NCCL降级到2.19.3(这是一个比较稳定的版本)

硬件层面:RTX 8000 是 2018 年发布的 Volta 架构 GPU,NCCL 从 2.20 版本开始大幅削减对 Volta 的支持,2.27.5 版本几乎完全移除了 Volta 相关的内核适配,导致初始化时直接段错误;

软件层面:SGLang 最新版的多卡张量并行(tp-size>1)模块硬编码调用 NCCL,即使指定 TORCH_DISTRIBUTED_USE_GLOO=1,也仅能让 PyTorch 分布式框架用 Gloo,但 SGLang 自身的设备通信层仍会调用 NCCL,无法绕过;

VLLM_USE_MODELSCOPE=true python3 -m vllm.entrypoints.openai.api_server

--model Qwen/Qwen2.5-32B-Instruct

--tensor-parallel-size 2 --dtype=half --port 8000

curl http://localhost:8000/v1/chat/completions

-H "Content-Type: application/json"

-d '{

"model": "Qwen/Qwen2.5-32B-Instruct",

"messages": [

{"role": "user", "content": "你好,请介绍一下自己"}

],

"temperature": 0.7,

"max_tokens": 1024

}'

python3 -c "

import torch, transformers, vllm

print(f'PyTorch版本: {torch.version }')

print(f'PyTorch CUDA: {torch.version.cuda}')

print(f'Transformers版本: {transformers.version }')

print(f'vLLM版本: {vllm.version }')

print(f'CUDA可用: {torch.cuda.is_available()}')

print(f'显卡数量: {torch.cuda.device_count()}')

"

PyTorch版本: 2.1.2+cu121

PyTorch CUDA: 12.1

Transformers版本: 4.41.0

vLLM版本: 0.3.0

CUDA可用: True

显卡数量: 2

相关推荐
郝学胜-神的一滴9 分钟前
Effective Python 条款36:优雅拼装迭代器与生成器
开发语言·数据结构·人工智能·python·numpy·scikit-learn
Frag0ut1 小时前
Chrome 2026浏览器AI助手全攻略:智能问答与内容创作实战进阶指南
人工智能·chrome·ai助手·本地大模型·浏览器ai·网页智能总结·侧边栏ai
如夏倾城1 小时前
入侵检测系统(IDS)原理、部署模式与 IPS/防火墙对比
大数据·网络·人工智能·网络安全·云原生·架构·kubernetes
Dawson Zhu1 小时前
【模型量化⑤】Weight-Only INT4:AWQ与GPTQ两大算法深度解析
人工智能·语言模型·架构·aigc·agi
水如烟2 小时前
孤能子视角:通用智能 vs 分工协同智能群系统–––集中结晶 vs 分布式结晶
人工智能
罗西的思考2 小时前
【轻量化复现大模型 / KIMI K3】训练模块梳理 & Muon P2P 优化器
人工智能·深度学习·机器学习
lilihuigz2 小时前
权限配置:WordPress 7.2 Abilities API 权限、输入验证与 JSON 输出指南
人工智能
杨凯凡2 小时前
IT日报|2026-11-20:欧盟 AI 网络攻击、Valkey 9.2、GitHub 企业迁移
人工智能·github
鲁邦通物联网3 小时前
机器人梯控到站状态机设计:楼层匹配、事件时序与任务判断
人工智能·机器人·机器人梯控·agv梯控·非侵入式采集·机器人乘梯·机器人自主乘梯