【人工智能】使用 vLLM 高效部署大语言模型：以 secGpt14b 为例

🚀 使用 vLLM 高效部署大语言模型：以 secGpt14b 为例

本文将带你从零开始了解如何使用 vLLM 在多 GPU 环境下快速部署大语言模型（例如 secGpt14b），并详细解释每个参数的含义与优化技巧。

---

🧠 一、vLLM 简介

在大模型推理领域，vLLM 是一个性能优异的开源推理引擎。

它由 UC Berkeley 等机构开发，支持以下特性：

• 🚀 高吞吐推理：采用 PagedAttention，显著降低显存碎片；
• 💡 灵活部署：支持多 GPU、分布式部署；
• 🧩 兼容性强：可直接加载 HuggingFace Transformers 模型；
• 🌐 OpenAI API 接口兼容：可通过 RESTful API 提供服务。

对于需要本地部署大模型（如 ChatGLM3、Baichuan、LLaMA、secGpt14b）的开发者，vLLM 是一个极佳选择。

---

🧰 二、启动命令全解析

假设我们已经在服务器上下载好了模型 secGpt14b，并安装了 vLLM，

可以使用以下命令启动模型服务 👇

tmux -s new secmodel

CUDA_VISIBLE_DEVICES=2,3 vllm serve \
    /home/sk/secGpt14b \
    --served-model-name secGpt14b \
    --tensor-parallel-size 2 \
    --host 0.0.0.0 \
    --max-model-len 32768 \
    --gpu-memory-utilization 0.85 \
    --dtype bfloat16 \
    --port 8000

下面我们逐项解释这段命令的作用。

---

⚙️ 三、参数详解

1️⃣ tmux -s new secmodel

使用 tmux 创建一个名为 secmodel 的新会话。

这样即使关闭 SSH 连接，模型服务也不会中断。

✅ 建议 ：使用 tmux 或 screen 是在远程服务器部署长时间运行任务的最佳实践。

---

2️⃣ CUDA_VISIBLE_DEVICES=2,3

指定使用第 2、3 号 GPU。

这对于多 GPU 服务器非常重要，可避免与其他任务冲突。

💡 例如：若机器上共有 4 块 GPU（编号 0-3），你只想使用 2 和 3，那么就这么写。

---

3️⃣ vllm serve /home/sk/secGpt14b

vllm serve 是启动推理服务的命令。
/home/sk/secGpt14b 是模型路径，可以是本地路径或 HuggingFace 模型名。

---

4️⃣ --served-model-name secGpt14b

为服务起一个名字。

这个名称会体现在 API 请求中，例如：

curl http://localhost:8000/v1/models

---

5️⃣ --tensor-parallel-size 2

指定张量并行数为 2。

这意味着模型的权重会被切分并分配到两块 GPU 上进行并行计算。

⚙️ 这个参数应与 GPU 数量一致，否则会导致初始化错误。

---

6️⃣ --host 0.0.0.0

允许外部主机访问服务。

若仅供本地访问，可改为 127.0.0.1。

---

7️⃣ --max-model-len 32768

设置模型支持的最大上下文长度（token 数）。
32768 相当于 32K token，可支持长文档总结、代码补全等任务。

⚠️ 注意：上下文越长，占用的显存也越多。

---

8️⃣ --gpu-memory-utilization 0.85

设置显存利用率上限为 85%。

这样可以在性能和稳定性之间取得平衡，避免 OOM（显存溢出）。

---

9️⃣ --dtype bfloat16

指定模型推理的数值精度类型。
bfloat16 通常在 A100/H100 GPU 上表现更好，能显著降低显存占用。

若显卡不支持 bfloat16，可改用 float16。

---

🔟 --port 8000

设置服务监听端口号为 8000。

你可以根据实际情况更改，比如改为 8080 或 5000。

---

🌍 四、启动成功后的访问方式

服务启动后，你将看到如下日志输出：

INFO  Starting vLLM server on 0.0.0.0:8000
INFO  Model secGpt14b loaded successfully.

可以通过 OpenAI 兼容 API 调用模型，例如：

curl http://localhost:8000/v1/completions \
-H "Content-Type: application/json" \
-d '{
  "model": "secGpt14b",
  "prompt": "你好，请简要介绍一下 vLLM 的优势。",
  "max_tokens": 100
}'

返回结果类似：

{
  "id": "cmpl-12345",
  "object": "text_completion",
  "choices": [
    {"text": "vLLM 是一个高性能推理框架，支持多 GPU 并行和长上下文处理..."}
  ]
}

---

📈 五、性能优化建议

优化项	建议值	说明
--gpu-memory-utilization	0.8~0.9	稳定与性能折中
--max-model-len	根据任务调整	长上下文任务可设高一些
--tensor-parallel-size	与 GPU 数量一致	确保并行一致性
--dtype	bfloat16 或 float16	减少显存占用

此外，还可以结合 FastAPI + Nginx 做二次封装，实现生产级 API 服务。

---

🧩 六、常见问题 FAQ

Q1：如何查看服务是否启动成功？

A：执行 netstat -anp | grep 8000 或访问 http://服务器IP:8000。

Q2：如何后台运行？

A：可以使用以下命令退出 tmux 而不中断服务：

Ctrl + B, 然后按 D

Q3：如何停止服务？

A：重新连接 tmux：

tmux attach -t secmodel

然后按 Ctrl+C 终止运行。

---

✅ 七、总结

通过以上步骤，我们成功地在多 GPU 环境下使用 vLLM 部署了一个名为 secGpt14b 的大语言模型。

这套方案具备以下优势：

• ✅ 快速部署
• ✅ 高效推理
• ✅ 多 GPU 并行
• ✅ 支持长上下文
• ✅ 兼容 OpenAI API

如果你正准备将本地大模型变成一个 API 服务，vLLM 无疑是最优选择之一。