云主机测试Flink磁盘满问题解决

问题描述:

使用云主机测试Flink时,根目录满了。 经排查发现运行Flink任务后根目录空间一直在减少,最后定位持续增加的目录是/tmp目录

解决方法:

修改Flink配置使用一个相对较大的磁盘目录做为Flink运行时目录

Override the directories for temporary files. If not specified, the

system-specific Java temporary directory (java.io.tmpdir property) is taken.

For framework setups on Yarn, Flink will automatically pick up the

containers' temp directories without any need for configuration.

Add a delimited list for multiple directories, using the system directory

delimiter (colon ':' on unix) or a comma, e.g.:

/data1/tmp:/data2/tmp:/data3/tmp

Note: Each directory entry is read from and written to by a different I/O

thread. You can include the same directory multiple times in order to create

multiple I/O threads against that directory. This is for example relevant for

high-throughput RAIDs.

io.tmp.dirs: /dev/shm/tmp

问题解决

相关推荐
Edward111111111 小时前
linux创建普通用户
linux·运维·服务器
mzhan0171 小时前
Linux: rcu: 加速宽限期
linux·rcu
Fanfanaas2 小时前
Linux 基础开发工具(二)
linux·运维·服务器·c语言
雾岛听蓝2 小时前
Linux线程基础
linux·开发语言·经验分享
齐落山大勇2 小时前
Linux的文件IO
linux·运维·服务器
tod1132 小时前
深入解析ext2文件系统架构
linux·服务器·c++·文件系统·ext
萧行之3 小时前
FRP 0.62.0 + Mac Ollama 公网穿透部署+排障实录(标准 TOML 格式)
linux·服务器
齐潇宇3 小时前
文件共享服务器
linux·运维·网络·文件共享