VLLM auto DL环境配置

1 安装 UV 工具

你现在是 AutoDL 容器(root 用户、base conda 环境),报错 bash: uv: command not found 就是:还没装 uv,或者装了但不在 PATH 里。下面直接给你在这个容器里能一步到位的安装命令

powershell 复制代码
pip install uv # 在 AutoDL 里最快安装(用 pip,最简单)

uv --version # 装完后看一下

1 创建 UV 环境

VLLM 官网安装教程

推荐使用uv这款高性能 Python 环境管理工具来创建和管理 Python 运行环境。请参照官方文档完成 uv 的安装。安装完成后,可通过以下命令新建 Python 环境:

补充说明

uv:当下热门的 Python 环境 / 包管理工具,速度远优于传统的 venv、pip、conda,一般直接保留原名uv即可。

environment:结合语境译为运行环境 / 虚拟环境(Python 领域通用叫法)。

powershell 复制代码
uv venv --python 3.12 --seed --managed-python
source .venv/bin/activate

1:创建一个 Python 3.12 虚拟环境

每个参数含义:

uv venv:用 uv 创建虚拟环境

--python 3.12:指定使用 Python 3.12 版本

--seed:自动在环境里预装 pip(方便兼容老工具)

--managed-python:让 uv 自动下载、管理 Python 解释器(不用你自己装 Python)

2: 激活刚才创建的虚拟环境(进入这个独立环境)

激活后效果:

你用的 python、pip 都来自 .venv

安装的包只会存在这个环境里,不会污染系统

终端前面会出现 (.venv) 标志

2 在虚拟环境里面安装VLLM

建议使用 uv,通过 --torch-backend=auto 参数(或环境变量 UV_TORCH_BACKEND=auto),让工具在运行时检测已安装的 CUDA 驱动版本,自动匹配对应的 PyTorch 镜像源。

powershell 复制代码
uv pip install vllm --torch-backend=auto

如果是在国内:建议使用阿里镜像

powershell 复制代码
uv pip install vllm --torch-backend=auto \
  -i https://mirrors.aliyun.com/pypi/simple/ \
  --trusted-host mirrors.aliyun.com

-i:指定阿里云 PyPI 源

--trusted-host:信任阿里云域名,避免 SSL 报错

3 模型下载 (ModelScope )

AutoDL 国内环境通常 HuggingFace 不通,ModelScope 更稳。先装工具:

powershell 复制代码
source /root/.venv/bin/activate
uv pip install modelscope

下载到数据盘,避免系统盘爆:

powershell 复制代码
mkdir -p /root/autodl-tmp/models

modelscope download \
  --model Qwen/Qwen3-0.6B \
  --local_dir /root/autodl-tmp/models/Qwen3-0.6B

4 启动VLLM

powershell 复制代码
vllm serve /root/autodl-tmp/models/Qwen3-0.6B \
  --served-model-name Qwen/Qwen3-0.6B \
  --host 127.0.0.1 \
  --port 8000 \
  --max-model-len 2048

MODEL=Qwen/Qwen3-0.6B定义要跑的模型(轻量小模型,你的显卡轻松跑)

vllm serve $MODEL启动 vLLM API 服务(兼容 OpenAI 接口格式)

--host 127.0.0.1只允许本机访问(安全)

--port 8000服务端口 8000

--max-model-len 2048最大上下文长度 2048(对 0.6B 模型非常合适)

5 另起terminal 测试

返回模型列表之后

powershell 复制代码
curl http://127.0.0.1:8000/v1/models

curl一个命令行工具,用来发送网络请求、获取服务器返回的数据。

http://127.0.0.1:8000

127.0.0.1 = 本机

8000 = 服务运行的端口

→ 意思是:访问你自己电脑上运行的 AI 服务

/v1/models这是 OpenAI 兼容的 API 接口作用:列出当前可用的 AI 模型(比如 llama3、qwen、gemma 等)

powershell 复制代码
curl http://127.0.0.1:8000/v1/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "Qwen/Qwen3-0.6B",
    "prompt": "Explain paged attention in one paragraph.",
    "max_tokens": 64,
    "temperature": 0
  }'

vLLM 服务完全正常运行,API 也能调用,但是模型生成的内容乱七八糟,全是重复的 - Quora,这是典型的小模型(0.6B)+ 英文提示词 + 温度 = 0 导致的生成崩坏。

问题原因

模型太小:Qwen3-0.6B 是超小参数量模型,英文能力很弱,很容易输出乱码 / 重复内容

温度 = 0:完全确定性生成,错了就一路错到底

用了 completions 接口:这个接口是续写模式,小模型更容易跑偏

方法 1:用中文对话接口(推荐,效果最好)

powershell 复制代码
curl http://127.0.0.1:8000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "Qwen/Qwen3-0.6B",
    "messages": [{"role": "user", "content": "请解释一下分页注意力"}]
  }'
相关推荐
爱笑的k116 天前
nano-vllm 源码剖析:千行 Python 手写离线推理引擎的调度、显存与并行时序
开发语言·python·vllm
code2cat11 天前
【随笔】推理准入控制:请求进来之前,先给KV缓存留出位置
缓存·大语言模型·vllm
code2cat16 天前
【随笔】连续批处理:长短请求怎样在迭代之间补位
java·人工智能·后端·大语言模型·vllm
一枕槐安48716 天前
Qwen 通义千问本地部署与推理服务封装
fastapi·qwen·vllm·流式推理·openai兼容api·awq量化
mumu15717 天前
快速上手大模型推理vllm
人工智能·python·大语言模型·agent·vllm
code2cat18 天前
【随笔】vLLM前缀缓存:相同的开头怎样少算一次
人工智能·python·缓存·vllm
JAI科研22 天前
把一个 Qwen3.8的聊天模型改造成 JEV 决策模型
人工智能·语言模型·自然语言处理·chatgpt·transformer·vllm·sglang
谢白羽23 天前
从传统运维到 AI Infra: K8s 上调度 100 张 GPU踩坑笔记
运维·人工智能·缓存·kubernetes·vllm·sglang·vllm-omni
Hrain-AI24 天前
企业本地推理引擎选型实战:Ollama、vLLM 与 MLX 怎么挑
vllm
摸鱼仙人~24 天前
从 AI 应用开发到 GPU 计算软件:一份完整的 GPGPU、PyTorch、vLLM 与 AI Infra 学习路线
人工智能·pytorch·vllm