【深度学习】训练过程中一个OOM的问题,太难查了

现象:

各位大佬又遇到过ubuntu的这个问题么?

现象是在训练过程中,ssh 上不去了,能ping通,没死机,但是ubunutu 的pc侧的显示器,鼠标啥都不好用了。只能重启。

问题原因:

OOM了95G,尼玛!!!!

pytorch爆内存了,然后journald假死了,在journald被watchdog干掉之后,系统就崩溃了。

这种规模的爆内存一般,即使被oom kill了,也要卡半天的,确实会这样,能不能配一点虚拟内存上去啊。

设置swap交换空间:

bash 复制代码
(base) justin@justin-System-Product-Name:~$ sudo dd if=/dev/zero of=/swapfile bs                                                                  =1M count=327680
dd: failed to open '/swapfile': Text file busy
(base) justin@justin-System-Product-Name:~$ sudo swapoff
swapoff: bad usage
Try 'swapoff --help' for more information.
(base) justin@justin-System-Product-Name:~$ swapoff --help

Usage:
 swapoff [options] [<spec>]

Disable devices and files for paging and swapping.

Options:
 -a, --all              disable all swaps from /proc/swaps
 -v, --verbose          verbose mode

 -h, --help             display this help
 -V, --version          display version

The <spec> parameter:
 -L <label>             LABEL of device to be used
 -U <uuid>              UUID of device to be used
 LABEL=<label>          LABEL of device to be used
 UUID=<uuid>            UUID of device to be used
 <device>               name of device to be used
 <file>                 name of file to be used

For more details see swapoff(8).
(base) justin@justin-System-Product-Name:~$ sudo swapoff -a
(base) justin@justin-System-Product-Name:~$ sudo dd if=/dev/zero of=/swapfile bs                                                                  =1M count=327680

我的swap交换空间2GB, 可以用 free -m 查看

然后 先关闭:

sudo swapoff -a

然后写入:

sudo dd if=/dev/zero of=/swapfile bs =1M count=327680

写了32G

bash 复制代码
32768+0 records in
32768+0 records out
34359738368 bytes (34 GB, 32 GiB) copied, 371.924 s, 92.4 MB/s

sudo chmod 600 /swapfile

sudo mkswap /swapfile

bash 复制代码
(base) justin@justin-System-Product-Name:~$ sudo chmod 600 /swapfile
(base) justin@justin-System-Product-Name:~$ sudo mkswap /swapfile
Setting up swapspace version 1, size = 32 GiB (34359734272 bytes)
no label, UUID=e8a65557-0a65-4820-808b-e8924548ec90
(base) justin@justin-System-Product-Name:~$

启用交换空间:

sudo swapon /swapfile

检查交换空间

sudo swapon --show

永久设置:

如果希望系统在每次启动时自动启用交换空间,可以将下面的行添加到 /etc/fstab 文件中:

复制代码
echo '/swapfile none swap sw 0 0' | sudo tee -a /etc/fstab

这将确保在系统启动时,交换文件会自动被挂载。

最后,你可以使用以下命令来检查交换空间的使用情况:

free -h

这将显示系统的内存和交换空间使用情况。确保交换空间处于正常运行状态,以提供额外的内存支持。

ref:https://blog.csdn.net/qq_42244167/article/details/135755665?utm_medium=distribute.pc_relevant.none-task-blog-2~default~baidujs_baidulandingword\~default-1-135755665-blog-128822763.235^v43^pc_blog_bottom_relevance_base2\&spm=1001.2101.3001.4242.2\&utm_relevant_index=4

相关推荐
阿坡RPA5 小时前
手搓MCP客户端&服务端:从零到实战极速了解MCP是什么?
人工智能·aigc
用户27784491049935 小时前
借助DeepSeek智能生成测试用例:从提示词到Excel表格的全流程实践
人工智能·python
机器之心5 小时前
刚刚,DeepSeek公布推理时Scaling新论文,R2要来了?
人工智能
算AI7 小时前
人工智能+牙科:临床应用中的几个问题
人工智能·算法
凯子坚持 c8 小时前
基于飞桨框架3.0本地DeepSeek-R1蒸馏版部署实战
人工智能·paddlepaddle
你觉得2058 小时前
哈尔滨工业大学DeepSeek公开课:探索大模型原理、技术与应用从GPT到DeepSeek|附视频与讲义下载方法
大数据·人工智能·python·gpt·学习·机器学习·aigc
8K超高清8 小时前
中国8K摄像机:科技赋能文化传承新图景
大数据·人工智能·科技·物联网·智能硬件
hyshhhh9 小时前
【算法岗面试题】深度学习中如何防止过拟合?
网络·人工智能·深度学习·神经网络·算法·计算机视觉
薛定谔的猫-菜鸟程序员9 小时前
零基础玩转深度神经网络大模型:从Hello World到AI炼金术-详解版(含:Conda 全面使用指南)
人工智能·神经网络·dnn
币之互联万物9 小时前
2025 AI智能数字农业研讨会在苏州启幕,科技助农与数据兴业成焦点
人工智能·科技