技术栈
明明已经把vllm被强制kill了,但是仍然占用GPU显存
hit56实验室
2026-02-25 10:46
强制杀掉所有包含 vllm 关键字的进程
pkill -9 -f vllm
如果 vllm 启用了 ray,清理残留的 ray worker
pkill -9 -f ray
或者更直接一点,清理当前用户下的挂起 python 进程(谨慎使用,确保没杀错)
pkill -9 -f python
vllm
上一篇:
【MySQL】4. MySQL表的操作
下一篇:
CCF-CSP 33-2 相似度计算(jaccard)【C++】考点:STL容器(set/map)
相关推荐
缘友一世
2 天前
模型部署推理框架[3]:引擎启动参数
vllm
缘友一世
2 天前
模型部署推理框架[2]:总体架构和Docker部署实战
vllm
爱笑的k11
9 天前
nano-vllm 源码剖析:千行 Python 手写离线推理引擎的调度、显存与并行时序
开发语言
·
python
·
vllm
code2cat
13 天前
【随笔】推理准入控制:请求进来之前,先给KV缓存留出位置
缓存
·
大语言模型
·
vllm
code2cat
18 天前
【随笔】连续批处理:长短请求怎样在迭代之间补位
java
·
人工智能
·
后端
·
大语言模型
·
vllm
一枕槐安487
18 天前
Qwen 通义千问本地部署与推理服务封装
fastapi
·
qwen
·
vllm
·
流式推理
·
openai兼容api
·
awq量化
mumu157
19 天前
快速上手大模型推理vllm
人工智能
·
python
·
大语言模型
·
agent
·
vllm
code2cat
20 天前
【随笔】vLLM前缀缓存:相同的开头怎样少算一次
人工智能
·
python
·
缓存
·
vllm
JAI科研
24 天前
把一个 Qwen3.8的聊天模型改造成 JEV 决策模型
人工智能
·
语言模型
·
自然语言处理
·
chatgpt
·
transformer
·
vllm
·
sglang
谢白羽
25 天前
从传统运维到 AI Infra: K8s 上调度 100 张 GPU踩坑笔记
运维
·
人工智能
·
缓存
·
kubernetes
·
vllm
·
sglang
·
vllm-omni
热门推荐
01
国内可直接用、免费额度/永久免费的大模型API清单(含 SiliconFlow、火山、阿里、智谱、百度、Kimi、DeepSeek、DMXAPI 等)
02
历年考研数学一、数学二、数学三真题试卷及答案PDF
03
几个好用的ip纯净度检测网站
04
GitHub 镜像站点
05
微信历史版本含下载地址( Windows PC | 安卓 | MAC )及设置微信不更新
06
昇腾910B系列芯片完全指南:四款型号对比、服务器选型与大模型部署实战
07
苹果iPA游戏软件资源下载网站
08
Dify:一站式AI应用开发平台全解析与Windows部署指南
09
如何新建文件夹? 电脑新建文件夹的4种方法
10
蜘蛛磁力 搜索引擎大全,如何使用蜘蛛磁力查找磁力链接