容器参数错误,更换参数

停止旧容器 → 删除旧容器 → 启动新容器」的步骤操作,确保操作安全且不丢失关键数据(模型文件、日志等都已挂载到宿主机,不会丢失)。

第一步:停止正在运行的旧容器 先执行停止命令,确保容器正常退出:

```bash docker stop vllm_qwen35_9b ```

执行后会输出容器名称/ID,表示停止成功。

第二步:删除旧容器(可选但推荐) 停止后删除旧容器,避免名称冲突和残留资源:

```bash docker rm vllm_qwen35_9b ```

如果提示容器不存在,说明名称可能有误,可先用`docker ps -a`查看所有容器,确认目标容器名称/ID。

第三步:启动修改后的单卡容器 直接执行我之前给你的**修改后完整命令**(单GPU版本): ```bash docker run -d --name vllm_qwen35_9b --restart always --gpus '"device=0"' --net=host --privileged --ipc=host -v /home/hynx/models/Qwen3.5-9B:/app/model/qwen3.5-9b -v /home/hynx/vllm_cache:/root/.cache/huggingface -v /home/hynx/vllm_log:/app/log vllm/vllm-openai:latest /app/model/qwen3.5-9b --host 0.0.0.0 --port 8089 --dtype auto --max-model-len 262144 --reasoning-parser qwen3 --tensor-parallel-size 1 --gpu-memory-utilization 0.9 --no-enforce-eager --served-model-name qwen3.5-9b ```

第四步:验证是否成功运行在第一块GPU

  1. 先查看容器是否正常启动:

```bash docker ps | grep vllm_qwen35_9b ```

如果能看到容器信息,说明启动成功。

  1. 验证GPU使用情况(关键):

```bash nvidia-smi ```

在输出的「Processes」部分,会看到vllm进程只占用**GPU 0**(第一块),而不是之前的多块GPU,说明配置生效。

  1. 可选:测试API是否可用(确认服务没出问题): ```bash curl http://localhost:8089/v1/chat/completions \ -H "Content-Type: application/json" \ -d '{ "model": "qwen3.5-9b", "messages": {"role": "user", "content": "测试一下"} }' ```

能正常返回回复,说明服务完全可用。

注意事项 - 操作过程中,模型文件、日志、缓存都挂载在宿主机目录(`/home/hynx/`下),不会因为删除/重建容器丢失; - 如果启动新容器时报「端口8089被占用」,先执行

`netstat -tulpn | grep 8089`

查看占用进程,确认是旧容器残留的话,重启Docker(`systemctl restart docker`)即可解决。

总结

  1. 操作流程:停止旧容器 → 删除旧容器 → 启动单GPU新容器;

  2. 验证重点:用`nvidia-smi`确认进程仅占用GPU 0,用curl测试API可用性;

  3. 数据安全:模型/日志/缓存都在宿主机,重建容器不会丢失数据。

相关推荐
周杰伦的稻香2 分钟前
AI 助手 2.0:多轮对话、卡片化与文章页感知
人工智能
Martina_032117 分钟前
AI生成3D场景从白模换成精模后镜头全偏了?用6步检查单位、枢轴与层级替换
图像处理·人工智能·3d·ai·自然语言处理·材质·1024程序员节
狒狒AI34 分钟前
手绘白板动画的生产线拆解:AI 出图、笔迹对齐、镜头渲染七道工序(附 21 个开源脚本)
人工智能·aigc
用户27639657651038 分钟前
上手 GitHub 官方 Spec Kit:AI 编码别再裸奔,先写 spec 再出码,SDD规约开发
人工智能
Lucas_coding39 分钟前
【Agent】Agent 知识地图:核心概念、工程方法与产品生态
人工智能
方方洛39 分钟前
ray教程-28-附录G-CICD与Slurm与云上调度
人工智能·分布式·机器学习
疯华整猫1 小时前
混淆起初根本不是为了防破解:我用 Trae 把 Android 混淆这二十来年重跑了一遍
android·人工智能·计算机视觉
Kari111 小时前
企业大模型RAG知识库从0到1搭建指南:腾讯云ADP+JOTO实战
人工智能·云计算·腾讯云
深蓝AI1 小时前
GPT-6.1 Terra 在 Bedrock 全面可用:便宜一半快三倍,日常任务选型要重算
人工智能·程序员
用户2991422196801 小时前
AI 日报(2026年11月9日)
人工智能