云主机测试Flink磁盘满问题解决

问题描述:

使用云主机测试Flink时,根目录满了。 经排查发现运行Flink任务后根目录空间一直在减少,最后定位持续增加的目录是/tmp目录

解决方法:

修改Flink配置使用一个相对较大的磁盘目录做为Flink运行时目录

Override the directories for temporary files. If not specified, the

system-specific Java temporary directory (java.io.tmpdir property) is taken.

For framework setups on Yarn, Flink will automatically pick up the

containers' temp directories without any need for configuration.

Add a delimited list for multiple directories, using the system directory

delimiter (colon ':' on unix) or a comma, e.g.:

/data1/tmp:/data2/tmp:/data3/tmp

Note: Each directory entry is read from and written to by a different I/O

thread. You can include the same directory multiple times in order to create

multiple I/O threads against that directory. This is for example relevant for

high-throughput RAIDs.

io.tmp.dirs: /dev/shm/tmp

问题解决

相关推荐
抠脚学代码4 分钟前
Linux开发-->驱动开发-->字符设备驱动框架
linux·数据结构·驱动开发
J-JunLiang6 分钟前
Flink 实时开发:关键知识点
大数据·flink
Elias不吃糖24 分钟前
第四天学习总结:C++ 文件系统 × Linux 自动化 × Makefile 工程化
linux·c++·学习
噜啦噜啦嘞好24 分钟前
Linux进程信号
linux·运维·服务器
liliangcsdn1 小时前
如何使用elasticdump进行elasticsearch数据还原
大数据·elasticsearch·搜索引擎
REDcker1 小时前
Linux 进程资源占用分析指南
linux·运维·chrome
samroom1 小时前
Linux系统管理与常用命令详解
linux·运维·服务器
一叶之秋14122 小时前
Linux基本指令
linux·运维·服务器
码割机2 小时前
Linux服务器安装jdk和maven详解
java·linux·maven
yumgpkpm2 小时前
Doris 并入CMP7(类Cloudera CDP 7.3.1 404华为鲲鹏ARM版)的方案和实施源代码
大数据·oracle·sqlite·sqoop·milvus·cloudera