明明已经把vllm被强制kill了,但是仍然占用GPU显存

强制杀掉所有包含 vllm 关键字的进程

pkill -9 -f vllm

如果 vllm 启用了 ray,清理残留的 ray worker

pkill -9 -f ray

或者更直接一点,清理当前用户下的挂起 python 进程(谨慎使用,确保没杀错)

pkill -9 -f python

相关推荐
缘友一世2 天前
模型部署推理框架[3]:引擎启动参数
vllm
缘友一世2 天前
模型部署推理框架[2]:总体架构和Docker部署实战
vllm
爱笑的k119 天前
nano-vllm 源码剖析:千行 Python 手写离线推理引擎的调度、显存与并行时序
开发语言·python·vllm
code2cat13 天前
【随笔】推理准入控制:请求进来之前,先给KV缓存留出位置
缓存·大语言模型·vllm
code2cat18 天前
【随笔】连续批处理:长短请求怎样在迭代之间补位
java·人工智能·后端·大语言模型·vllm
一枕槐安48718 天前
Qwen 通义千问本地部署与推理服务封装
fastapi·qwen·vllm·流式推理·openai兼容api·awq量化
mumu15719 天前
快速上手大模型推理vllm
人工智能·python·大语言模型·agent·vllm
code2cat20 天前
【随笔】vLLM前缀缓存:相同的开头怎样少算一次
人工智能·python·缓存·vllm
JAI科研24 天前
把一个 Qwen3.8的聊天模型改造成 JEV 决策模型
人工智能·语言模型·自然语言处理·chatgpt·transformer·vllm·sglang
谢白羽25 天前
从传统运维到 AI Infra: K8s 上调度 100 张 GPU踩坑笔记
运维·人工智能·缓存·kubernetes·vllm·sglang·vllm-omni