解决docker使用pandarallel报错OSError: [Errno 28] No space left on device

参考:https://github.com/nalepae/pandarallel/issues/127

在使用pandarallel报错OSError: [Errno 28] No space left on device,根据上述issue发现确实默认使用的MEMORY_FS_ROOT为 /dev/shm,而在docker环境下这个目录大小只有64M,完全不够处理数据

因此,需要添加如下代码:

复制代码
os.environ['MEMORY_FS_ROOT'] = "/root" 
os.environ['JOBLIB_TEMP_FOLDER']  = "/root"

一开始已经加了参数而而在pandarallel/core.py中依旧没有被覆盖改写,后来经过打印os.environ发现传入的参数没有覆盖成功,需要将上述代码

复制代码
import os
os.environ['MEMORY_FS_ROOT'] = "/root" 
os.environ['JOBLIB_TEMP_FOLDER']  = "/root"

放在执行文件的最上面即可成功覆盖参数。

相关推荐
蜀山雪松6 小时前
全网首先 Docker Compose 启动Postgresql18
运维·docker·容器
你的人类朋友6 小时前
【Docker】说说卷挂载与绑定挂载
后端·docker·容器
邂逅星河浪漫8 小时前
【RabbitMQ】docker-compose编排部署RabbitMQ容器——CentOS
分布式·docker·centos·rabbitmq·docker-compose
zrande8 小时前
Docker经典安装命令失效排查:Ubuntu/CentOS多系统测试与解决方案
ubuntu·docker·centos
计算机小手10 小时前
内网穿透系列十四:基于Websocket传输协议实现的异地组网工具 candy,简单安全稳定
经验分享·网络协议·docker·开源软件
SirLancelot111 小时前
MinIO-基本介绍(一)基本概念、特点、适用场景
后端·云原生·中间件·容器·aws·对象存储·minio
Molesidy14 小时前
【Docker】基于Ubuntu的Docker的日常使用方法
nginx·ubuntu·docker
Broken Arrows14 小时前
k8s学习(一)——kubernetes重要基础概念概述
学习·容器·kubernetes
MoRanzhi120315 小时前
5. Pandas 缺失值与异常值处理
数据结构·python·数据挖掘·数据分析·pandas·缺失值处理·异常值处理
Lin_Aries_042116 小时前
基于 CI/CD 平台将应用程序自动部署到 Kubernetes 集群
运维·ci/cd·docker·云原生·容器·kubernetes·jenkins