Linux 或者 Ubuntu 离线使用 vllm启动大模型

使用 vllm 启动 QWQ-32B 的命令

完整的命令如下

shell 复制代码
python -m vllm.entrypoints.openai.api_server \
--model /root/.cache/modelscope/hub/models/Qwen/QwQ-32B \
--tensor-parallel-size 4 \
--host 0.0.0.0 \
--port 8000 \
--max-num-batched-tokens 2048 \
--gpu-memory-utilization 0.85 \
--hosted-model-name QwQ-32B

参数详解

1. python -m vllm.entrypoints.openai.api_server
  • 启动的是 vLLM 的 OpenAI API 兼容服务器
  • 这个服务器对外提供与 OpenAI API 类似的接口(如 /v1/chat/completions)
  • 可以用 curl、Python SDK 或前端调用,兼容 OpenAI 格式请求

2. --model /root/.cache/modelscope/hub/models/Qwen/QwQ-32B
  • 指定要加载的模型路径
  • 这里是本地存储的 QwQ-32B 模型,通常是一个 HuggingFace 风格的模型文件夹
  • 支持 GGUF、HuggingFace、以及经过 vLLM 转换后的张量并行模型

3. --tensor-parallel-size 4
  • 表示使用 4 块 GPU 来进行 Tensor Parallelism(张量并行)
  • QwQ-32B 是一个大模型,单卡放不下,所以需要拆分到多个 GPU 上推理
  • 如果你有 4 张卡,这个设置合理;如果只有 1 张卡,就设为 --tensor-parallel-size 1

4. --host 0.0.0.0
  • 设置监听地址为所有网络接口
  • 这样可以从外部访问该服务(比如从其他机器通过 IP 访问)
  • 如果只想本机访问,可以改为 --host 127.0.0.1

5. --port 8000
  • 设置服务监听的端口号为 8000
  • 可以通过浏览器或 API 请求访问:http://localhost:8000 或 http://<ip>:8000

6. --max-num-batched-tokens 2048
  • 控制每次 batch 中最多处理多少个 token(输入 + 输出)
  • 增大这个值可以提高吞吐量,但会占用更多显存
  • 默认值通常是 2560 左右,这里设为 2048 是为了控制显存使用

7. --gpu-memory-utilization 0.85
  • 设置 GPU 显存使用率为 85%
  • 这是为了防止 OOM(Out Of Memory),留出一部分缓冲空间
  • 默认值是 0.9,如果你的显存较小,可以适当降低(如 0.7)

8. --hosted-model-name QwQ-32B

它表示:虽然模型实际路径是 /root/.cache/...,但对外暴露的模型名是 QwQ-32B


要让 MODEL_NAME = "QwQ-32B" 成功调用你的本地模型,你需要在启动 vLLM 服务时加上一个参数::

shell 复制代码
--hosted-model-name QwQ-32B \

# 也就是
--host 0.0.0.0 \
--port 8000 \
--model /root/.cache/modelscope/hub/models/Qwen/QwQ-32B \
--hosted-model-name QwQ-32B \

它表示:虽然模型实际路径是 /root/.cache/...,但对外暴露的模型名是 QwQ-32B

示例请求(使用 curl)

可以使用如下命令测试服务是否正常运行:

bash 复制代码
curl http://localhost:8000/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{
  "model": "QwQ-32B",
  "messages": [{"role": "user", "content": "讲个笑话吧"}]
}'

示例请求代码(使用python)

python 复制代码
import openai

client = openai.OpenAI(
    base_url="http://localhost:8000/v1",
    api_key="EMPTY"  # 如果没有启用鉴权,可以为空
)

completion = client.chat.completions.create(
    model="QwQ-32B",  # ← 这里就能用了!
    messages=[
        {"role": "user", "content": "你好,请讲个笑话。"}
    ]
)

print(completion.choices[0].message.content)
相关推荐
戊本菌34 分钟前
进程(三)进程优先级:谁先上 CPU
linux·c语言·硬件架构
aningx1 小时前
Arch 系用 greetd 实现开机自动进 Plasma Wayland,注销自动回桌面
linux
江无行者2 小时前
Linux 服务器 top 命令详解
linux
嵌入式 Linux手记4 小时前
一块内存,三种解释:union 的真实用法
linux·c语言·驱动开发·嵌入式
星恒随风5 小时前
MySQL 从零入门(九):事务管理详解——ACID、COMMIT、ROLLBACK、SAVEPOINT 与四种隔离级别
linux·服务器·数据库·笔记·mysql
缘友一世5 小时前
模型部署推理框架[3]:引擎启动参数
vllm
草莓熊Lotso5 小时前
【C++ 基于微服务的即时通讯系统】ElasticSearch 用户数据管理实现
linux·数据库·c++·elasticsearch·微服务·架构
星恒随风5 小时前
MySQL 从零入门(十一):视图与用户权限管理详解
linux·服务器·数据库·笔记·mysql
江华森8 小时前
从零开始:智能运维概念与Linux环境准备完全指南
linux·运维
努力写代码的熊大9 小时前
Linux 个人复盘博客 · 第六篇 Linux 进程间五种通信:匿名管道、命名管道、共享内存、消息队列与信号量
linux·经验分享·笔记