云主机测试Flink磁盘满问题解决

问题描述:

使用云主机测试Flink时,根目录满了。 经排查发现运行Flink任务后根目录空间一直在减少,最后定位持续增加的目录是/tmp目录

解决方法:

修改Flink配置使用一个相对较大的磁盘目录做为Flink运行时目录

Override the directories for temporary files. If not specified, the

system-specific Java temporary directory (java.io.tmpdir property) is taken.

For framework setups on Yarn, Flink will automatically pick up the

containers' temp directories without any need for configuration.

Add a delimited list for multiple directories, using the system directory

delimiter (colon ':' on unix) or a comma, e.g.:

/data1/tmp:/data2/tmp:/data3/tmp

Note: Each directory entry is read from and written to by a different I/O

thread. You can include the same directory multiple times in order to create

multiple I/O threads against that directory. This is for example relevant for

high-throughput RAIDs.

io.tmp.dirs: /dev/shm/tmp

问题解决

相关推荐
一叶之秋14126 分钟前
通信之道:解锁Linux进程间通信的无限可能(三)
linux·运维·服务器
乙酸氧铍18 分钟前
【imx6ul 学习笔记】移植ubuntu 20.04系统
笔记·学习·ubuntu
ictI CABL20 分钟前
Linux环境下Tomcat的安装与配置详细指南
linux·运维·tomcat
ClouGence29 分钟前
从 OLTP 到 OLAP:Spanner 到 StarRocks 架构演进与实现
大数据·数据库·starrocks·olap·dba·oltp·spanner
Full Stack Developme34 分钟前
Hutool TreeUtil 教程
大数据·windows
小小码农Come on38 分钟前
QPainter双缓冲区实现一个简单画图软件
linux·服务器·前端
科技AI训练师40 分钟前
2026工业风机行业观察:英飞风机在中高端通风排烟领域表现
大数据·人工智能
大大大大晴天️42 分钟前
Flink技术实践-Flink指标监控全景指南
大数据·flink
郝学胜-神的一滴42 分钟前
深入理解 epoll_wait:高性能 IO 多路复用核心解密
linux·服务器·开发语言·c++·网络协议