GPU相关
1. 未正常释放显存
sudo fuser -v /dev/nvidia*
pmap -d $PID # 查看具体这个进程调用GPU的情况
kill掉所有(连号的)僵尸进程
重启某个GPU:nvidia-smi --gpu-reset -i $n
。$n is the id of the GPU returning the OOM message.
sudo fuser -v /dev/nvidia*
pmap -d $PID # 查看具体这个进程调用GPU的情况
kill掉所有(连号的)僵尸进程
重启某个GPU:nvidia-smi --gpu-reset -i $n
。$n is the id of the GPU returning the OOM message.