llama-factory微调报错:

报错信息

INFO utils.py:789:see_memory_usage CPU Virtual Memory: used =

81.51 GB, percent = 64.9%

W0419 10:14:27.573000 108354 site-packages/torch/distributed/elastic/multiprocessing/api.py:897] Sending process 108373 closing signal SIGTERM

W0419 10:14:27.594000 108354 site-packages/torch/distributed/elastic/multiprocessing/api.py:897] Sending process 108375 closing signal SIGTERM

W0419 10:14:27.594000 108354 site-packages/torch/distributed/elastic/multiprocessing/api.py:897] Sending process 108376 closing signal SIGTERM

E0419 10:14:33.446000 108354 site-packages/torch/distributed/elastic/multiprocessing/api.py:869] failed (exitcode: -9) local_rank: 1 (pid: 108374) of binary: /opt/conda/envs/llamaf/bin/python
Traceback (most recent call last):

File "/opt/conda/envs/llamaf/bin/torchrun", line 33, in

sys.exit(load_entry_point('torch==2.5.1', 'console_scripts', 'torchrun')())

xxx

xxx

xxx

torch.distributed.elastic.multiprocessing.errors.ChildFailedError:

/home/LLaMA-Factory/src/llamafactory/launcher.py FAILED

由于看到CPU Virtual Memory 只加载到了64.9%,发现是内存不足。

解决方法:

bash 复制代码
# 创建分区路径
sudo mkdir -p /data/swap/
# 设置分区的大小
# bs=128M是块大小,count=64是块数量,
# 所以swap空间大小是bs*count=96GB
sudo dd if=/dev/zero of=/data/swap/swap0 bs=512M count=192
# 设置该目录权限
sudo chmod 0600 /data/swap/swap0
# 创建SWAP文件
sudo mkswap /data/swap/swap0
# 激活SWAP文件
sudo swapon /data/swap/swap0
# 查看SWAP信息是否正确
sudo swapon -s
相关推荐
Java患者·8 分钟前
《Python 人脸识别入门实践:从人脸检测到人脸比对完整实现》
开发语言·python·opencv·目标检测·计算机视觉·目标跟踪·视觉检测
宸丶一17 分钟前
Day 10:LangGraph - Agent 的图执行引擎
java·windows·python
weixin_3077791324 分钟前
Python写入Shell文件使用Linux系统的换行符
linux·开发语言·python·自动化
zmzb010343 分钟前
Python课后习题训练记录Day130
开发语言·python
高洁012 小时前
医疗行业的数字孪生革命
python·机器学习·数据挖掘·transformer·知识图谱
MATLAB代码顾问2 小时前
Python Pandas数据分析入门指南
python·数据分析·pandas
风之所往_2 小时前
Python 3.6 新特性全面总结
python
abcy0712132 小时前
flask celery hdfs 异步上传
python·hdfs·flask
2301_781833522 小时前
Python 正则表达式入门教程
开发语言·python·正则表达式