明明已经把vllm被强制kill了,但是仍然占用GPU显存

强制杀掉所有包含 vllm 关键字的进程

pkill -9 -f vllm

如果 vllm 启用了 ray,清理残留的 ray worker

pkill -9 -f ray

或者更直接一点,清理当前用户下的挂起 python 进程(谨慎使用,确保没杀错)

pkill -9 -f python

相关推荐
零依赖极客10 小时前
Day 6·1 ARMv8.2 dotprod——vdotq_s32 一条指令做 4 个点积
c语言·开发语言·人工智能·矩阵·arm·vllm
Albart57518 小时前
大模型无限循环输出、重复生成文本:参数层面规避幻觉输出实战
大模型·llm·vllm·大模型推理·幻觉·重复输出
早睡早起身体好1232 天前
用 XGrammar 约束大模型工具调用:解决参数为空的问题
android·人工智能·神经网络·机器学习·自然语言处理·vllm
basketball6165 天前
AI Infra 推理部署技术总结:2. vLLM 内核——PagedAttention 与调度器原理
android·人工智能·vllm·ai infra
CV-杨帆7 天前
在自己的服务器上搭建VLLM 以Qwen3.5-0.8B与Qwen3.5-4B为模型基础
运维·服务器·vllm
Zguigo8 天前
Coding Agent 上下文压缩:从 Claude Code / Codex / Pi 到自研策略
深度学习·vllm
DevOps老兵10 天前
AI Infra实战05:用Helm在K8s中部署vLLM,从安装到压测全流程
人工智能·kubernetes·helm·vllm·大模型推理·ai infra
方方洛11 天前
vllm教程-02-核心原理
人工智能·算法·vllm
苏子寒12 天前
Nano-VLLM全代码解析笔记(10)-GemmaRMSNorm和MRoPE
笔记·机器学习·ai·nlp·vllm