云主机测试Flink磁盘满问题解决

问题描述:

使用云主机测试Flink时,根目录满了。 经排查发现运行Flink任务后根目录空间一直在减少,最后定位持续增加的目录是/tmp目录

解决方法:

修改Flink配置使用一个相对较大的磁盘目录做为Flink运行时目录

Override the directories for temporary files. If not specified, the

system-specific Java temporary directory (java.io.tmpdir property) is taken.

For framework setups on Yarn, Flink will automatically pick up the

containers' temp directories without any need for configuration.

Add a delimited list for multiple directories, using the system directory

delimiter (colon ':' on unix) or a comma, e.g.:

/data1/tmp:/data2/tmp:/data3/tmp

Note: Each directory entry is read from and written to by a different I/O

thread. You can include the same directory multiple times in order to create

multiple I/O threads against that directory. This is for example relevant for

high-throughput RAIDs.

io.tmp.dirs: /dev/shm/tmp

问题解决

相关推荐
花嫁代二娃4 小时前
Linux:环境变量
linux
Edingbrugh.南空6 小时前
Flink自定义函数
大数据·flink
gaosushexiangji7 小时前
利用sCMOS科学相机测量激光散射强度
大数据·人工智能·数码相机·计算机视觉
l1x1n09 小时前
Vim 编辑器常用操作详解(新手快速上手指南)
linux·编辑器·vim
无级程序员9 小时前
大数据平台之ranger与ldap集成,同步用户和组
大数据·hadoop
lifallen10 小时前
Paimon 原子提交实现
java·大数据·数据结构·数据库·后端·算法
ajassi200010 小时前
开源 python 应用 开发(三)python语法介绍
linux·python·开源·自动化
o不ok!10 小时前
Linux面试问题-软件测试
linux·运维·服务器
DaxiaLeeSuper11 小时前
Prometheus+Grafana+node_exporter监控linux服务器资源的方案
linux·grafana·prometheus
TDengine (老段)11 小时前
TDengine 数据库建模最佳实践
大数据·数据库·物联网·时序数据库·tdengine·涛思数据