解决docker使用pandarallel报错OSError: [Errno 28] No space left on device

参考:https://github.com/nalepae/pandarallel/issues/127

在使用pandarallel报错OSError: [Errno 28] No space left on device,根据上述issue发现确实默认使用的MEMORY_FS_ROOT为 /dev/shm,而在docker环境下这个目录大小只有64M,完全不够处理数据

因此,需要添加如下代码:

复制代码
os.environ['MEMORY_FS_ROOT'] = "/root" 
os.environ['JOBLIB_TEMP_FOLDER']  = "/root"

一开始已经加了参数而而在pandarallel/core.py中依旧没有被覆盖改写,后来经过打印os.environ发现传入的参数没有覆盖成功,需要将上述代码

复制代码
import os
os.environ['MEMORY_FS_ROOT'] = "/root" 
os.environ['JOBLIB_TEMP_FOLDER']  = "/root"

放在执行文件的最上面即可成功覆盖参数。

相关推荐
Zhu7588 分钟前
【软件部署】用docker部署Apache Kafka 集群架构isolated模式带SSL
docker·kafka·apache
海鸥8111 分钟前
Kubernetes 集群中缺少 kagent.dev/v1alpha2
云原生·容器·kubernetes
qq_3961534523 分钟前
docker ddns-go 忘记密码
docker·容器·golang
Zhu75833 分钟前
【软件部署】用docker部署Apache Kafka 集群架构的isolated模式
docker·kafka·apache
AAA_搬砖达人小郝33 分钟前
Docker常用命令(2026最新)
开发语言·docker
Zhu75837 分钟前
【数据迁移】k8s平台本地数据迁移整改
云原生·容器·kubernetes
无效的名字40 分钟前
windows下,怎么压缩Docker Desktop占用的磁盘空间
windows·docker·容器
不是书本的小明43 分钟前
多套小规格k8s集群 集成到统一k8s集群
云原生·容器·kubernetes
功德+n10 小时前
Linux下安装与配置Docker完整详细步骤
linux·运维·服务器·开发语言·docker·centos