解决docker使用pandarallel报错OSError: [Errno 28] No space left on device

参考:https://github.com/nalepae/pandarallel/issues/127

在使用pandarallel报错OSError: [Errno 28] No space left on device,根据上述issue发现确实默认使用的MEMORY_FS_ROOT为 /dev/shm,而在docker环境下这个目录大小只有64M,完全不够处理数据

因此,需要添加如下代码:

复制代码
os.environ['MEMORY_FS_ROOT'] = "/root" 
os.environ['JOBLIB_TEMP_FOLDER']  = "/root"

一开始已经加了参数而而在pandarallel/core.py中依旧没有被覆盖改写,后来经过打印os.environ发现传入的参数没有覆盖成功,需要将上述代码

复制代码
import os
os.environ['MEMORY_FS_ROOT'] = "/root" 
os.environ['JOBLIB_TEMP_FOLDER']  = "/root"

放在执行文件的最上面即可成功覆盖参数。

相关推荐
灰勒塔德3 小时前
ubuntu 部署 gitlab docker服务
docker·容器·gitlab
@不会写代码的小张4 小时前
传统的企业服务如何部署在k8s集群中
云原生·容器·kubernetes
深蓝电商API7 小时前
云原生爬虫:使用Docker和Kubernetes部署与管理分布式爬虫集群
docker·kubernetes
啟明起鸣8 小时前
【Go 与云原生】让一个 Go 项目脱离原生的操作系统——我们开始使用 Docker 制造云容器进行时
docker·云原生·golang
victory043115 小时前
K8S重启之后无法启动故障排查 与 修复
云原生·容器·kubernetes
java_logo18 小时前
SGLANG Docker容器化部署指南
linux·运维·docker·容器·eureka·1024程序员节
Qayrup18 小时前
各个系统的 docker安装
运维·docker·容器
代码or搬砖19 小时前
Docker 部署 Java 项目实践
java·docker·容器
蓝象_19 小时前
docker下载配置redis
redis·docker·容器
恋上钢琴的虫21 小时前
openEuler上安装高版本的docker
运维·docker·容器