解决神经网络训练时,代码没正常结束导致内存泄露显存不足的问题

0.神经网络常见的内存泄露

  • 神经网络使用显卡加速的时候,会将数据移到显存上,很多时候如果程序没有正常结束,显存上的数据没有被清空继续占用着显存空间,再次运行程序就可能会出现显存不足的问题。

1.查看显存占用情况

  • nvidia-smi查看
bash 复制代码
Thu Nov 30 15:37:46 2023       
+-----------------------------------------------------------------------------+
| NVIDIA-SMI 515.105.01   Driver Version: 515.105.01   CUDA Version: 11.7     |
|-------------------------------+----------------------+----------------------+
| GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
|                               |                      |               MIG M. |
|===============================+======================+======================|
|   0  NVIDIA GeForce ...  Off  | 00000000:01:00.0  On |                  N/A |
| N/A   50C    P0    N/A /  N/A |    380MiB /  4096MiB |      2%      Default |
|                               |                      |                  N/A |
+-------------------------------+----------------------+----------------------+
                                                                               
+-----------------------------------------------------------------------------+
| Processes:                                                                  |
|  GPU   GI   CI        PID   Type   Process name                  GPU Memory |
|        ID   ID                                                   Usage      |
|=============================================================================|
|    0   N/A  N/A      3240      G   /usr/lib/xorg/Xorg                162MiB |
|    0   N/A  N/A      3519      G   /usr/bin/gnome-shell               26MiB |
|    0   N/A  N/A      4439      G   /usr/lib/firefox/firefox          141MiB |
|    0   N/A  N/A     10010      G   ...RendererForSitePerProcess       44MiB |
+-----------------------------------------------------------------------------+
  • 其中Process name Usage可以看见是哪个程序正在占用内存,PID是对应的编号

2.结束进程

  • 结束指定PID的进程来释放显存,比如:kill -9 10010,就可以释放由于内存泄露占用的空间了。
相关推荐
max5006003 小时前
基于Meta Llama的二语习得学习者行为预测计算模型
人工智能·算法·机器学习·分类·数据挖掘·llama
mCell3 小时前
长期以来我对 LLM 的误解
深度学习·llm·ollama
王哥儿聊AI4 小时前
Lynx:新一代个性化视频生成模型,单图即可生成视频,重新定义身份一致性与视觉质量
人工智能·算法·安全·机器学习·音视频·软件工程
Ada's4 小时前
深度学习在自动驾驶上应用(二)
人工智能·深度学习·自动驾驶
lisw055 小时前
连接蓝牙时“无媒体信号”怎么办?
人工智能·机器学习·微服务
jie*6 小时前
小杰机器学习(nine)——支持向量机
人工智能·python·机器学习·支持向量机·回归·聚类·sklearn
nju_spy6 小时前
南京大学 - 复杂结构数据挖掘(一)
大数据·人工智能·机器学习·数据挖掘·数据清洗·南京大学·相似性分析
机器学习之心6 小时前
198种组合算法+优化BiLSTM神经网络+SHAP分析+新数据预测+多输出!深度学习可解释分析,强烈安利,粉丝必备!
深度学习·神经网络·shap分析·新数据预测·198种组合算法·优化bilstm神经网络·多输出
charieli-fh6 小时前
指令微调数据评估与影响:构建高质量大语言模型的关键
人工智能·深度学习·语言模型
Coovally AI模型快速验证6 小时前
从避障到实时建图:机器学习如何让无人机更智能、更安全、更实用(附微型机载演示示例)
人工智能·深度学习·神经网络·学习·安全·机器学习·无人机