解决docker使用pandarallel报错OSError: [Errno 28] No space left on device

参考:https://github.com/nalepae/pandarallel/issues/127

在使用pandarallel报错OSError: Errno 28 No space left on device,根据上述issue发现确实默认使用的MEMORY_FS_ROOT为 /dev/shm,而在docker环境下这个目录大小只有64M,完全不够处理数据

因此,需要添加如下代码:

复制代码
os.environ['MEMORY_FS_ROOT'] = "/root" 
os.environ['JOBLIB_TEMP_FOLDER']  = "/root"

一开始已经加了参数而而在pandarallel/core.py中依旧没有被覆盖改写,后来经过打印os.environ发现传入的参数没有覆盖成功,需要将上述代码

复制代码
import os
os.environ['MEMORY_FS_ROOT'] = "/root" 
os.environ['JOBLIB_TEMP_FOLDER']  = "/root"

放在执行文件的最上面即可成功覆盖参数。

相关推荐
毕竟是shy哥9 小时前
vs code连接远程服务器docker环境及配置免密登录
服务器·docker·vs code
IT大白鼠9 小时前
Ingress 与 Ingress-Controller:K8s 七层 HTTP 反向代理技术详解与实践
http·容器·kubernetes
java_logo10 小时前
Docker 部署 Rocky Linux:轻松搭建 RHEL 兼容企业级基础镜像平台
linux·docker·容器·rocky linux·基础镜像·轩辕镜像·rhel 兼容
cloudfantasy11 小时前
docker直接二进制安装,非编译。KylinV10SP3 aarch64有效
运维·docker
M--Y14 小时前
Docker数据持久化与网络架构
网络·docker·架构
鹤落晴春16 小时前
【K8s】认识Kubernetes API:从CRD出发的一次梳理
云原生·容器·kubernetes
yanwumuxi18 小时前
Docker记录:误删宿主机挂载目录导致 PostgreSQL 数据丢失
docker·postgresql·容器
cui_hao_nan19 小时前
Docker 学习 5
docker·容器
A黄俊辉A20 小时前
两分钟上手docker
运维·docker·容器
程序员老赵21 小时前
Docker 部署 go2rtc:轻松搭建摄像头多协议流媒体平台
前端·docker·直播