明明已经把vllm被强制kill了,但是仍然占用GPU显存

强制杀掉所有包含 vllm 关键字的进程

pkill -9 -f vllm

如果 vllm 启用了 ray,清理残留的 ray worker

pkill -9 -f ray

或者更直接一点,清理当前用户下的挂起 python 进程(谨慎使用,确保没杀错)

pkill -9 -f python

相关推荐
花间相见8 小时前
【大模型推理01】—— 初探VLLM:高性能LLM推理引擎,让开源模型跑起来更快更省
开源·vllm
Flying pigs~~18 小时前
大模型训练框架 ➕ 推理部署框架
模型训练·deepspeed·vllm·模型推理·zero·pageattention
AI木马人1 天前
2.人工智能实战:大模型接口并发低、GPU利用率上不去?基于 vLLM 重构推理服务的完整工程方案
人工智能·transformer·vllm
AIDF20264 天前
我们看一份报告的时候主要看什么
运维·服务器·推理·vllm
张忠琳4 天前
【vllm】(八)vLLM v1 Simple KV Offload — 系统级架构深度分析之二
ai·架构·vllm
一只独角兽5 天前
DeepSeek-V4-Pro 部署实战指南:H100/H200/B200/B300/GB200/GB300 全硬件配置详解
自然语言处理·gru·transformer·vllm
张忠琳5 天前
【vllm】(六)vLLM v1 Sample — 模块超深度分析之一
ai·架构·vllm
蛐蛐蛐5 天前
在昇腾Atlas 300I Duo+openEuler上部署vLLM并进行推理的流程(一)
vllm
Anesthesia丶7 天前
Qwen2.5-1.5b 模型部署与LORA训练笔记
pytorch·python·lora·llm·qwen·vllm
张忠琳8 天前
【vllm】(五)vLLM v1 Attention — 模块超深度分析之五
ai·架构·vllm