解决容器内deepspeed微调大模型报错

解决容器内deepspeed微调大模型报错:[launch.py:315:sigkill_handler] Killing subprocess

问题描述:

在容器中用deepspeed微调百川大模型2时,出现上述错误,错误是由于生成容器时,共享内存没有设置,采用默认值引起的。终端输入ds_report,可以查看shared_memory,(之前是默认63M,现已调整50G)

解决办法

docker stop 容器名

docker rm 容器名

重新生成容器时加上共享内存参数:--shm-size=1g

例:

docker run -it -d --shm-size=50g --name 容器名--net host --gpus all -v 宿主机路径:容器内路径 -e NVIDIA_DRIVER_CAPABILITIES=compute,utility ubuntu:latest /bin/bash

相关推荐
永霖光电_UVLED8 小时前
NUBURU启动Q1阶段,实现40套高功率蓝光激光系统的量产
大数据·人工智能
RFG20128 小时前
20、详解Dubbo框架:消费方如何动态获取服务提供方地址?【微服务架构入门】
java·人工智能·后端·微服务·云原生·架构·dubbo
紫微AI8 小时前
适用于代理Agents的语言
人工智能·agents·新语言
CCPC不拿奖不改名8 小时前
虚拟机基础:在VMware WorkStation上安装Linux为容器化部署打基础
linux·运维·服务器·人工智能·milvus·知识库搭建·容器化部署
这是个栗子9 小时前
AI辅助编程工具(六) - CodeGeeX
人工智能·ai·codegeex
vortesnail9 小时前
超详细的云服务部署 OpenClaw 并接入飞书全流程,别再趟坑了
人工智能·程序员·openai
紫微AI9 小时前
Anthropic Claude Code 工程博客精读:构建可靠长时运行AI代理的有效框架实践
人工智能
量子-Alex9 小时前
【大模型思维链】自洽性提升语言模型中的思维链推理能力
人工智能·语言模型·自然语言处理
月光有害9 小时前
Batch 与 Mini-Batch 梯度下降的权衡与选择
人工智能
之歆9 小时前
智能体 - AI 幻觉
人工智能