解决docker使用pandarallel报错OSError: [Errno 28] No space left on device

参考:https://github.com/nalepae/pandarallel/issues/127

在使用pandarallel报错OSError: [Errno 28] No space left on device,根据上述issue发现确实默认使用的MEMORY_FS_ROOT为 /dev/shm,而在docker环境下这个目录大小只有64M,完全不够处理数据

因此,需要添加如下代码:

os.environ['MEMORY_FS_ROOT'] = "/root" 
os.environ['JOBLIB_TEMP_FOLDER']  = "/root"

一开始已经加了参数而而在pandarallel/core.py中依旧没有被覆盖改写,后来经过打印os.environ发现传入的参数没有覆盖成功,需要将上述代码

import os
os.environ['MEMORY_FS_ROOT'] = "/root" 
os.environ['JOBLIB_TEMP_FOLDER']  = "/root"

放在执行文件的最上面即可成功覆盖参数。

相关推荐
小钟不想敲代码13 分钟前
Docker部署Sentinel
docker·容器·sentinel
胖毁青春,瘦解百病2 小时前
Docker镜像源设置不生效问题排查
docker·容器
嘤嘤怪呆呆狗3 小时前
【开发问题记录】使用 Docker+Jenkins+Jenkins + gitee 实现自动化部署前端项目 CI/CD(centos7为例)
前端·vue.js·ci/cd·docker·gitee·自动化·jenkins
Carry_NJ4 小时前
docker-compose样例
运维·docker·容器
东方佑4 小时前
pandas df 如何 输出数据到 sqlite3
oracle·sqlite·pandas
勇-子4 小时前
K8s 常用资源介绍
云原生·容器·kubernetes
大G哥4 小时前
k8s创建单例redis设置密码
数据库·redis·云原生·容器·kubernetes
勇-子6 小时前
K8s DaemonSet的介绍
云原生·容器·kubernetes
孟里啥都有.6 小时前
12.24 k8s yaml文件类型和介绍
云原生·容器·kubernetes
花晓木6 小时前
最新版本 - 二进制安装k8s1.29.2 集群
云原生·容器·kubernetes