明明已经把vllm被强制kill了,但是仍然占用GPU显存

强制杀掉所有包含 vllm 关键字的进程

pkill -9 -f vllm

如果 vllm 启用了 ray,清理残留的 ray worker

pkill -9 -f ray

或者更直接一点,清理当前用户下的挂起 python 进程(谨慎使用,确保没杀错)

pkill -9 -f python

相关推荐
毒爪的小新1 天前
Linux 环境极速部署 vLLM:从零搭建生产级大模型推理服务
linux·人工智能·ai·语言模型·vllm
像风一样自由20201 天前
17.推理框架横评:vLLM / TGI / TensorRT-LLM / SGLang 全面对比
人工智能·大模型·vllm·sglang
rebibabo2 天前
KV Cache 与 PagedAttention 详解:理论推导 + RTX 3090 实测数据
人工智能·vllm·推理加速·大模型部署·kvcache
随便做点啥3 天前
8×910B4-32G NPU服务器 vLLM-Ascend部署Docker安装报告
服务器·docker·vllm
大模型推理3 天前
《Nano-vLLM 源码解读》第 18 篇 · Embedding 与 LM Head
embedding·vllm
hdsoft_huge4 天前
部署 Nacos + Ollama + vLLM + MCP 完整图文教程(1Panel 面板,命令行安装两种方式)
python·vllm·ollama·mcp
我是谁??4 天前
ubuntu22.04 通过docker部署vLLM(Qwen3-0.6B)大模型+New API+OpenWebUI
docker·容器·vllm
lipku5 天前
LiveTalking 更新:集成 vLLM-Omni TTS服务
python·开源·数字人·vllm·实时数字人
嘉陵妹妹5 天前
vLLM 源码可编辑模式安装与调试记录
vllm