llama-factory微调报错:

报错信息

INFO utils.py:789:see_memory_usage CPU Virtual Memory: used =

81.51 GB, percent = 64.9%

W0419 10:14:27.573000 108354 site-packages/torch/distributed/elastic/multiprocessing/api.py:897] Sending process 108373 closing signal SIGTERM

W0419 10:14:27.594000 108354 site-packages/torch/distributed/elastic/multiprocessing/api.py:897] Sending process 108375 closing signal SIGTERM

W0419 10:14:27.594000 108354 site-packages/torch/distributed/elastic/multiprocessing/api.py:897] Sending process 108376 closing signal SIGTERM

E0419 10:14:33.446000 108354 site-packages/torch/distributed/elastic/multiprocessing/api.py:869] failed (exitcode: -9) local_rank: 1 (pid: 108374) of binary: /opt/conda/envs/llamaf/bin/python
Traceback (most recent call last):

File "/opt/conda/envs/llamaf/bin/torchrun", line 33, in

sys.exit(load_entry_point('torch==2.5.1', 'console_scripts', 'torchrun')())

xxx

xxx

xxx

torch.distributed.elastic.multiprocessing.errors.ChildFailedError:

/home/LLaMA-Factory/src/llamafactory/launcher.py FAILED

由于看到CPU Virtual Memory 只加载到了64.9%,发现是内存不足。

解决方法:

bash 复制代码
# 创建分区路径
sudo mkdir -p /data/swap/
# 设置分区的大小
# bs=128M是块大小,count=64是块数量,
# 所以swap空间大小是bs*count=96GB
sudo dd if=/dev/zero of=/data/swap/swap0 bs=512M count=192
# 设置该目录权限
sudo chmod 0600 /data/swap/swap0
# 创建SWAP文件
sudo mkswap /data/swap/swap0
# 激活SWAP文件
sudo swapon /data/swap/swap0
# 查看SWAP信息是否正确
sudo swapon -s
相关推荐
宿州派大星2 小时前
Python实战:PyQt5 + OpenCV + Dlib 打造AI桌面应用
人工智能·python·qt
承渊政道3 小时前
【从零开始大模型开发与微调:基于PyTorch与ChatGLM】(开源大模型ChatGLM高级定制化应用实战)
人工智能·pytorch·python·llm·模型微调·glm
Smoothcloud润云9 小时前
PyTorch大模型权重加载与启动耗时优化实战:定位磁盘、内存与显存瓶颈
人工智能·pytorch·python·深度学习·gpu算力
databook9 小时前
从循环到向量化:NumPy提速的7个关键思维
python·数据分析·numpy
棉猴10 小时前
玩游戏学Python1-Python和pgzero库的安装
python·pygame·玩游戏·pgzero·pgzrun
诺伦10 小时前
GEO优化数据实证:78%引用流向官网的机制拆解与小品牌三步管线实战教程 | RiseClaw玄策
python·seo·geo·内容营销·ai搜索
oooost10 小时前
pytorch学习笔记1
python·学习方法
数字融合11 小时前
透明化视频孪生虚实映射一体化融合技术
人工智能·python·数码相机
jack1868911 小时前
Lovable.Dev 全栈应用快速落地实战指南
python
华研前沿标杆游学12 小时前
【标杆研学】走进茅台集团|对标学习长期主义与匠心精神
python