容器参数错误,更换参数

停止旧容器 → 删除旧容器 → 启动新容器」的步骤操作,确保操作安全且不丢失关键数据(模型文件、日志等都已挂载到宿主机,不会丢失)。

第一步:停止正在运行的旧容器 先执行停止命令,确保容器正常退出:

```bash docker stop vllm_qwen35_9b ```

执行后会输出容器名称/ID,表示停止成功。

第二步:删除旧容器(可选但推荐) 停止后删除旧容器,避免名称冲突和残留资源:

```bash docker rm vllm_qwen35_9b ```

如果提示容器不存在,说明名称可能有误,可先用`docker ps -a`查看所有容器,确认目标容器名称/ID。

第三步:启动修改后的单卡容器 直接执行我之前给你的**修改后完整命令**(单GPU版本): ```bash docker run -d --name vllm_qwen35_9b --restart always --gpus '"device=0"' --net=host --privileged --ipc=host -v /home/hynx/models/Qwen3.5-9B:/app/model/qwen3.5-9b -v /home/hynx/vllm_cache:/root/.cache/huggingface -v /home/hynx/vllm_log:/app/log vllm/vllm-openai:latest /app/model/qwen3.5-9b --host 0.0.0.0 --port 8089 --dtype auto --max-model-len 262144 --reasoning-parser qwen3 --tensor-parallel-size 1 --gpu-memory-utilization 0.9 --no-enforce-eager --served-model-name qwen3.5-9b ```

第四步:验证是否成功运行在第一块GPU

  1. 先查看容器是否正常启动:

```bash docker ps | grep vllm_qwen35_9b ```

如果能看到容器信息,说明启动成功。

  1. 验证GPU使用情况(关键):

```bash nvidia-smi ```

在输出的「Processes」部分,会看到vllm进程只占用**GPU 0**(第一块),而不是之前的多块GPU,说明配置生效。

  1. 可选:测试API是否可用(确认服务没出问题): ```bash curl http://localhost:8089/v1/chat/completions \ -H "Content-Type: application/json" \ -d '{ "model": "qwen3.5-9b", "messages": {"role": "user", "content": "测试一下"} }' ```

能正常返回回复,说明服务完全可用。

注意事项 - 操作过程中,模型文件、日志、缓存都挂载在宿主机目录(`/home/hynx/`下),不会因为删除/重建容器丢失; - 如果启动新容器时报「端口8089被占用」,先执行

`netstat -tulpn | grep 8089`

查看占用进程,确认是旧容器残留的话,重启Docker(`systemctl restart docker`)即可解决。

总结

  1. 操作流程:停止旧容器 → 删除旧容器 → 启动单GPU新容器;

  2. 验证重点:用`nvidia-smi`确认进程仅占用GPU 0,用curl测试API可用性;

  3. 数据安全:模型/日志/缓存都在宿主机,重建容器不会丢失数据。

相关推荐
奔跑中的小象5 小时前
统信UOS + 天数AI卡部署SGLang服务手册
人工智能·uos·sglang·天数智芯
DevSecOps选型指南5 小时前
中国版Mythos,为何是悬镜安全灵脉CodeAI?
人工智能·安全
Shockang5 小时前
LangGraph 状态机实战
人工智能
刹那芳华19925 小时前
循环神经网络的从零开始实现(RNN)
人工智能·rnn·深度学习
阿童木写作5 小时前
跨境图片翻译工具多合一,批量图片视频字幕翻译加智能抠图
人工智能·python·音视频·语音识别
科技之门5 小时前
AI3D从建模到贴图、绑骨和动画的完整流程怎么做?V2Fun完整工作流指南
人工智能·3d·贴图
宇宙第一小趴菜5 小时前
二、机器学习的应用领域和发展史
人工智能·机器学习
前端开发江鸟5 小时前
我写过 MCP Server,却一直以为 MCP 只有 Tool
人工智能
天国梦6 小时前
自习室智能化升级避坑指南:天学网AI智习室方案实测与选型建议
大数据·人工智能
阿里云云原生6 小时前
可用性从 99.9% 跃升至 99.995%:畅捷通如何用 AI 重塑运维底座?
运维·网络·人工智能