解决docker使用pandarallel报错OSError: [Errno 28] No space left on device

参考:https://github.com/nalepae/pandarallel/issues/127

在使用pandarallel报错OSError: [Errno 28] No space left on device,根据上述issue发现确实默认使用的MEMORY_FS_ROOT为 /dev/shm,而在docker环境下这个目录大小只有64M,完全不够处理数据

因此,需要添加如下代码:

复制代码
os.environ['MEMORY_FS_ROOT'] = "/root" 
os.environ['JOBLIB_TEMP_FOLDER']  = "/root"

一开始已经加了参数而而在pandarallel/core.py中依旧没有被覆盖改写,后来经过打印os.environ发现传入的参数没有覆盖成功,需要将上述代码

复制代码
import os
os.environ['MEMORY_FS_ROOT'] = "/root" 
os.environ['JOBLIB_TEMP_FOLDER']  = "/root"

放在执行文件的最上面即可成功覆盖参数。

相关推荐
明天不下雨(牛客同名)2 小时前
Docker和K8s面试题
docker·容器·kubernetes
平谷一勺3 小时前
docker存储
运维·docker·容器
zhang-ge4 小时前
docker本地部署ClipCascade,实现跨设备剪贴板同步
docker·容器
IT闫4 小时前
【Docker】——在Docker工具上安装创建容器并完成项目部署
运维·docker·容器
aiweker5 小时前
数据分析(四):Python Pandas数据输入输出全流程指南
python·数据分析·pandas
活跃的煤矿打工人5 小时前
【星海出品】K8S调度器leader
云原生·容器·kubernetes
背书包的儿郎5 小时前
docker--什么是docker
运维·docker·容器
别致的影分身5 小时前
Docker Container(容器)
运维·docker·容器
万物更新_6 小时前
Docker
docker
二猛子13 小时前
Linux(Centos版本)中安装Docker
linux·docker·centos