A10服务器使用vllm推理框架成功运行Qwen3大模型

1.下载Qwen3大模型:

python 复制代码
git clone https://www.modelscope.cn/Qwen/Qwen3-1.7B.git

放在服务器的/mnt/workspace/Qwen3-1.7B目录下。

2.创建python虚拟环境:

python 复制代码
python3 -m venv venv1
source venv1/bin/activate

3.安装vllm推理框架

python 复制代码
pip install vllm 

4.启动vllm服务

python 复制代码
CUDA_VISIBLE_DEVICES=0 \
python3 -m vllm.entrypoints.openai.api_server \
        --model /mnt/workspace/Qwen3-1.7B \
        --served-model-name qwen3 \
        --gpu-memory-utilization=0.85 \
        --tensor-parallel-size 1 \
        --trust-remote-code

注意以下几点:

(1)如果不指定端口,则vllm默认端口是8000;

(2)参数gpu-memory-utilization必须加上,不然可能会报oom显存不足的错误;

(3)tensor-parallel-size的个数,取决于使用的GPU数量。

启动需加载1-2分钟左右,启动结果如下:

5.查询大模型

python 复制代码
curl http://localhost:8000/v1/models

查询到名字为qwen3的模型:

6.调用大模型服务

python 复制代码
curl http://localhost:8000/v1/chat/completions -H "Content-Type: application/json" -d '{
  "model": "qwen3",
  "messages": [
    {"role": "user", "content": "介绍一下你自己"}
  ],
  "temperature": 0.7,
  "top_p": 0.8,
  "top_k": 20,
  "max_tokens": 128,
  "presence_penalty": 1.5,
  "chat_template_kwargs": {"enable_thinking": false}
}'

返回结果:

7.显卡使用情况

相关推荐
都给我13 分钟前
服务器中涉及节流(Throttle)的硬件组件及其应用注意事项
服务器·网络·express
吹个口哨写代码1 小时前
防止包含 XSS 攻击风险的内容提交成功
java·服务器·前端
默|笙1 小时前
【Linux】基本指令(2)
linux·运维·服务器
ZY小袁1 小时前
MGRE综合实验
服务器·网络·笔记·网络安全·学习方法·信息与通信·p2p
conkl5 小时前
构建 P2P 网络与分布式下载系统:从底层原理到安装和功能实现
linux·运维·网络·分布式·网络协议·算法·p2p
π大星星️7 小时前
Nginx 四层(stream)反向代理 + DNS 负载均衡
运维·nginx·负载均衡
beyoundout8 小时前
HAproxy
linux·运维·服务器
qq_2187533110 小时前
服务器查日志太慢,试试grep组合拳
运维·服务器
Jie_1710 小时前
【linux】高可用集群Keepalived
linux·运维·服务器
思绪漂移10 小时前
阿里云【免费试用】Elasticsearch 智能运维 AI 助手
运维·elasticsearch·阿里云