明明已经把vllm被强制kill了,但是仍然占用GPU显存

强制杀掉所有包含 vllm 关键字的进程

pkill -9 -f vllm

如果 vllm 启用了 ray,清理残留的 ray worker

pkill -9 -f ray

或者更直接一点,清理当前用户下的挂起 python 进程(谨慎使用,确保没杀错)

pkill -9 -f python

相关推荐
奔跑中的小象3 天前
UOS V2500 沐曦mx-exporter监控加速卡(非K8S)
grafana·prometheus·uos·vllm·沐曦
陈 洪 伟3 天前
大模型推理引擎vLLM(30):由一个GLM5 bug,整理MLP中的SwiGLU、算子融合、量化相关问题
bug·mlp·vllm
花无缺pize3 天前
vLLM框架:LLM推理的高效机制
服务器·人工智能·vllm
Briwisdom4 天前
MoE 推理优化实战——从“瓶颈罗列“到“性能调优“
gemm·vllm·moe·decode·prefill
Briwisdom4 天前
LLM 推理引擎三强争霸——vLLM vs SGLang vs TensorRT-LLM
tensorrt·vllm·推理引擎·sglang
西柚小萌新5 天前
【大模型:部署】--使用VLLM架构部署本地大模型
vllm
白驹_过隙6 天前
【大模型OCR落地终极排坑:OvisOCR2+vLLM从报错到批量稳定部署全过程】
人工智能·ocr·vllm
一个王同学7 天前
从零到一 | CV转多模态大模型 | week19 | 基于 FastAPI 和 vLLM 的多模态大模型部署
人工智能·深度学习·计算机视觉·fastapi·改行学it·vllm
wyg_0311137 天前
nano-vllm环境安装
vllm
GPUStack9 天前
怎么优雅地在GPUStack上使用minerU?
ai·大模型·llm·gpu·vllm·gpu集群·gpustack