linux部署VLLM、大模型(详细图文)

一、安装vllm

创建虚拟环境(版本确保是3.8~3.11)

复制代码
conda create -n vllm_env python=3.10 -y

激活虚拟环境

复制代码
conda activate vllm_env

安装vllm

复制代码
pip install vllm

安装torch(用于深度学习的并行计算)

复制代码
 pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121

验证torch是否安装成功

复制代码
 python -c "import torch; print('PyTorch版本:', torch.__version__); print('CUDA版本:', torch.version.cuda); print('GPU可用:', torch.cuda.is_available())"

安装fast_attention(处理标准注意力在长序列场景下的内存爆炸 与IO 瓶颈问题)

复制代码
conda install -c conda-forge flash-attn=2.5.8

测试fast_attention是否安装成功

复制代码
nano test.py

在文件里粘贴这些代码

复制代码
# 验证 flash-attn 是否安装成功的测试脚本
import torch
from flash_attn import flash_attn_func

# 检查 GPU 是否可用
if not torch.cuda.is_available():
    print("❌ 未检测到 GPU,请确认 PyTorch CUDA 版本安装正确")
else:
    # 生成 fp16 精度的 Q/K/V 张量(适配 GPU)
    q = torch.randn(2, 1024, 16, 64, device="cuda", dtype=torch.float16)
    k = torch.randn(2, 1024, 16, 64, device="cuda", dtype=torch.float16)
    v = torch.randn(2, 1024, 16, 64, device="cuda", dtype=torch.float16)
    
    # 执行 flash-attn 计算
    try:
        out = flash_attn_func(q, k, v)
        print(f"✅ flash-attn 安装成功!输出 shape: {out.shape}")
    except Exception as e:
        print(f"❌ flash-attn 执行失败,错误信息:{e}")

执行文件

复制代码
python test.py

安装成功

删除py文件

复制代码
rm test.py

到此vllm安装完成

二、使用vllm部署大模型

先下载魔搭社区

复制代码
pip install modelscope

下载git工具

复制代码
git lfs install

git clone https://www.modelscope.cn/Qwen/Qwen1.5-1.8B.git

安装完成

如果不想要这个模型了,可以删除

复制代码
rm -rf ~/Qwen1.5-1.8B
相关推荐
缘友一世1 天前
模型部署推理框架[3]:引擎启动参数
vllm
缘友一世2 天前
模型部署推理框架[2]:总体架构和Docker部署实战
vllm
爱笑的k118 天前
nano-vllm 源码剖析:千行 Python 手写离线推理引擎的调度、显存与并行时序
开发语言·python·vllm
code2cat12 天前
【随笔】推理准入控制:请求进来之前,先给KV缓存留出位置
缓存·大语言模型·vllm
code2cat17 天前
【随笔】连续批处理:长短请求怎样在迭代之间补位
java·人工智能·后端·大语言模型·vllm
一枕槐安48718 天前
Qwen 通义千问本地部署与推理服务封装
fastapi·qwen·vllm·流式推理·openai兼容api·awq量化
mumu15719 天前
快速上手大模型推理vllm
人工智能·python·大语言模型·agent·vllm
code2cat19 天前
【随笔】vLLM前缀缓存:相同的开头怎样少算一次
人工智能·python·缓存·vllm
JAI科研23 天前
把一个 Qwen3.8的聊天模型改造成 JEV 决策模型
人工智能·语言模型·自然语言处理·chatgpt·transformer·vllm·sglang
谢白羽24 天前
从传统运维到 AI Infra: K8s 上调度 100 张 GPU踩坑笔记
运维·人工智能·缓存·kubernetes·vllm·sglang·vllm-omni