【bug记录】清除僵尸进程,释放GPU显存

目录

  • [1. 为什么会出现这种情况?](#1. 为什么会出现这种情况?)
  • [2. 解决方案](#2. 解决方案)
    • [方法一:使用 fuser 命令](#方法一:使用 fuser 命令)
    • 方法二:
  • [3. 小贴士](#3. 小贴士)

在进行深度学习或其他需要GPU支持的任务时,我们有时会发现虽然没有可见的进程在执行,但GPU资源却意外地被占用。这种情况往往会阻碍我们的工作进度,因为新的任务无法启动。如果你遇到了这种状况,不要担心,这里有一些方法可以帮助你解决这个问题。


1. 为什么会出现这种情况?

这种情况通常是由于所谓的"僵尸进程"引起的。僵尸进程是指那些已经完成任务但没有正确关闭的进程,它们可能因为各种原因未能释放占用的GPU资源。这会导致资源浪费,并且阻碍其他任务的执行。

2. 解决方案

虽然重启服务器是一种直观的解决方案,但大多数情况下,我们无法因为权限不足而执行此操作。因此,我们需要寻找其他方法来解决这个问题。

方法一:使用 fuser 命令

  1. 打开你的终端。

  2. 输入命令 fuser -v /dev/nvidia* 查看当前占用GPU资源的进程。

  3. 一旦找到这些进程,你可以使用 kill 命令来终止它们。例如,如图,我的进程号是94285,你可以执行 kill -9 94285 来强制终止它。

通过这种方式,你可以释放被僵尸进程占用的GPU资源,恢复系统的正常运行。

方法二:

reboot大法

3. 小贴士

  1. 在执行这些操作之前,请确保你有足够的权限来终止这些进程,并且要小心不要终止那些重要的系统进程。此外,保持定期检查系统状态的习惯,可以帮助你避免资源被长时间占用的情况。
  2. fuser 是一个强大的Unix和类Unix系统命令行工具,它用于显示哪些用户和进程正在使用特定的文件、套接字或文件系统。在我们的场景中,fuser 可以帮助我们找出哪些进程正在使用特定的GPU设备文件。

相关推荐
咖喱鱼蛋17 分钟前
Ubuntu安装Electron环境
linux·ubuntu·electron
ac.char20 分钟前
在 Ubuntu 系统上安装 npm 环境以及 nvm(Node Version Manager)
linux·ubuntu·npm
肖永威26 分钟前
CentOS环境上离线安装python3及相关包
linux·运维·机器学习·centos
tian2kong29 分钟前
Centos 7 修改YUM镜像源地址为阿里云镜像地址
linux·阿里云·centos
布鲁格若门33 分钟前
CentOS 7 桌面版安装 cuda 12.4
linux·运维·centos·cuda
C-cat.40 分钟前
Linux|进程程序替换
linux·服务器·microsoft
dessler40 分钟前
云计算&虚拟化-kvm-扩缩容cpu
linux·运维·云计算
怀澈12242 分钟前
高性能服务器模型之Reactor(单线程版本)
linux·服务器·网络·c++
DC_BLOG44 分钟前
Linux-Apache静态资源
linux·运维·apache
学Linux的语莫1 小时前
Ansible Playbook剧本用法
linux·服务器·云计算·ansible