使用vllm docker容器部署大语言模型

说明

最近deepseek比较火,我在一台4卡4090的服务器上尝试部署了一下,记录下部署步骤。

安装过程

安卓docker和nvidia-container-toolkit

安装19.03版本以上的docker-ce即可。安装步骤参考清华docker源上的安装步骤:Docker CE 软件仓库

为了在docker中使用够显卡,需要安卓nvidia-container-toolkit。在线安装请参考英伟达的官方教程:Installing the NVIDIA Container Toolkit

但是如果你没科学上网,大概率无法下载nvidia-container-toolkit,因此也有离线安装的方法,大体思路就是在一个能连外网的服务器上先把包下好,再复制到要安装的服务器上。幸好有好心人已经传了一份到百度云盘上,现在下来安装即可,请参考: CentOS Docker NVIDIA环境离线安装。这篇文章提供的下载链接地址是:http://link.zhihu.com/?target=https%3A//pan.baidu.com/s/1zbVZCPQ833jCBYi7rsDwXA%3Fpwd%3Db0td

下载vllm的docker镜像

请到https://hub.docker.com/搜索最新的vllm镜像。比如我下载镜像的命令为:

shell 复制代码
docker pull vllm/vllm-openai:v0.7.2

因为防火墙的原因,很多人无法下载,请加上docker镜像网站的前缀来下载:

复制代码
docker pull docker.1ms.run/vllm/vllm-openai:v0.7.2

下载模型

下载模型可参考我之前的一篇博客:如何下载huggingface模型到本地

如果被墙阻挡了,请先设置huggingface的镜像再下载:

shell 复制代码
# 临时生效
export HF_ENDPOINT=https://hf-mirror.com
# 永久生效
echo export HF_ENDPOINT=https://hf-mirror.com >> ~/.bashrc

假设"deepseek-ai/DeepSeek-R1-Distill-Qwen-32B"被下载到了/mnt/llm_deploy/目录下,则模型的绝对路径是/mnt/llm_deploy/DeepSeek-R1-Distill-Qwen-32B,后面部署会用到这个目录

启动vllm服务

如果一切准备就绪,则可以启动vllm容器来启动服务:

shell 复制代码
docker run --runtime nvidia --gpus all \
     -v /mnt/llm_deploy/:/home/llm_deploy \
     -p 9000:8000 \
     --ipc=host \
     -d \
     --name vllm_deepseek_qwen32b \
     docker.1ms.run/vllm/vllm-openai:v0.7.2 \
     --model /home/llm_deploy/DeepSeek-R1-Distill-Qwen-32B \
     --tensor-parallel-size 4 \
     --max_model_len 60000

上面映射了目录/mnt/llm_deploy/到容器内部的/home/llm_deploy,则容器内看到的模型目录是/home/llm_deploy/DeepSeek-R1-Distill-Qwen-32B。所以后面--model后跟的就是这个路径。

外部端口9000映射到内部的8000端口,因为内部默认使用8000这个端口。

其他命令选项和直接启动vllm服务类似,可酌情添加。

简单测试

使用命令行简单测试,端口是9000,接口是openai api的接口风格。

shell 复制代码
curl http://localhost:9000/v1/chat/completions \
    -H "Content-Type: application/json" \
    -d '{
        "model": "/home/llm_deploy/DeepSeek-R1-Distill-Qwen-32B",
        "messages": [
            {"role": "user", "content": "你是谁?"}
        ]
    }'
相关推荐
菠萝崽.2 小时前
安装docker,在docker上安装mysql,docker上安装nginx
java·mysql·nginx·docker·软件工程·springboot·开发
庸子3 小时前
当JIT遇见K8s
云原生·容器·kubernetes
roman_日积跬步-终至千里7 小时前
【K8s基础】K8s下的Helm和Operator:包管理器与运维程序化
运维·容器·kubernetes
leo·Thomas9 小时前
Rundeck 介绍及安装:自动化调度与执行工具
docker·自动化·运维工具·rundeck
Lilith的AI学习日记10 小时前
大语言模型中的幻觉现象深度解析:原理、评估与缓解策略
人工智能·语言模型·自然语言处理·aigc·ai编程
技术liul10 小时前
Docker Compose和 Kubernetes(k8s)区别
docker·容器·kubernetes
layneyao11 小时前
大语言模型(LLM)的Prompt Engineering:从入门到精通
人工智能·语言模型·prompt
被放养的研究生12 小时前
ChatGPT、deepseek、豆包、Kimi、通义千问、腾讯元宝、文心一言、智谱清言代码能力对比
语言模型
竹木一54013 小时前
Docker拉取镜像代理配置实践与经验分享
经验分享·docker·容器
小余吃大鱼13 小时前
CentOS中在线安装Docker(超详细)
linux·docker·centos