解决容器内deepspeed微调大模型报错

解决容器内deepspeed微调大模型报错：[launch.py:315:sigkill_handler] Killing subprocess

• 问题描述：
• 解决办法

问题描述：

在容器中用deepspeed微调百川大模型2时，出现上述错误，错误是由于生成容器时，共享内存没有设置，采用默认值引起的。终端输入ds_report,可以查看shared_memory,（之前是默认63M，现已调整50G）

解决办法

docker stop 容器名

docker rm 容器名

重新生成容器时加上共享内存参数：--shm-size=1g

例：

docker run -it -d --shm-size=50g --name 容器名--net host --gpus all -v 宿主机路径:容器内路径 -e NVIDIA_DRIVER_CAPABILITIES=compute,utility ubuntu:latest /bin/bash