解决docker使用pandarallel报错OSError: [Errno 28] No space left on device

参考:https://github.com/nalepae/pandarallel/issues/127

在使用pandarallel报错OSError: [Errno 28] No space left on device,根据上述issue发现确实默认使用的MEMORY_FS_ROOT为 /dev/shm,而在docker环境下这个目录大小只有64M,完全不够处理数据

因此,需要添加如下代码:

复制代码
os.environ['MEMORY_FS_ROOT'] = "/root" 
os.environ['JOBLIB_TEMP_FOLDER']  = "/root"

一开始已经加了参数而而在pandarallel/core.py中依旧没有被覆盖改写,后来经过打印os.environ发现传入的参数没有覆盖成功,需要将上述代码

复制代码
import os
os.environ['MEMORY_FS_ROOT'] = "/root" 
os.environ['JOBLIB_TEMP_FOLDER']  = "/root"

放在执行文件的最上面即可成功覆盖参数。

相关推荐
一直都在5723 小时前
nginx和docker面试题
nginx·docker·github
ai产品老杨13 小时前
打破异构算力壁垒:基于GB28181/RTSP与Docker容器化的企业级AI视频平台架构解析(附源码交付方案)
人工智能·docker·音视频
江湖有缘14 小时前
本地化JSON 处理新方案:基于 Docker的JSON Hero部署全记录
java·docker·json
l1t14 小时前
在华为arm64 kylin计算机上安装docker编译llama.cpp的步骤
华为·docker·llama·kylin
merlin-mm14 小时前
GPU 间的通信方式
云原生·容器·kubernetes
徐子元竟然被占了!!15 小时前
docker-dockerfile练习
运维·docker·容器
Malone-AI15 小时前
docker换镜像源(docker desktop)
docker·容器
shenzhenNBA15 小时前
python实现Excel数据根据规则拆分为多个Excel
pandas·excel拆分·python拆分excel
qhqh31016 小时前
k8s的service、ingress controller和ingress
云原生·容器·kubernetes
susu108301891117 小时前
Ubuntu 离线环境 安装 Docker Compose
运维·docker·容器