云主机测试Flink磁盘满问题解决

问题描述:

使用云主机测试Flink时,根目录满了。 经排查发现运行Flink任务后根目录空间一直在减少,最后定位持续增加的目录是/tmp目录

解决方法:

修改Flink配置使用一个相对较大的磁盘目录做为Flink运行时目录

Override the directories for temporary files. If not specified, the

system-specific Java temporary directory (java.io.tmpdir property) is taken.

For framework setups on Yarn, Flink will automatically pick up the

containers' temp directories without any need for configuration.

Add a delimited list for multiple directories, using the system directory

delimiter (colon ':' on unix) or a comma, e.g.:

/data1/tmp:/data2/tmp:/data3/tmp

Note: Each directory entry is read from and written to by a different I/O

thread. You can include the same directory multiple times in order to create

multiple I/O threads against that directory. This is for example relevant for

high-throughput RAIDs.

io.tmp.dirs: /dev/shm/tmp

问题解决

相关推荐
鹿衔`3 分钟前
解决Flink on Yarn模式多Yarn Session会话提交
java·前端·flink
ITVV30 分钟前
flink CDC 3.5.0
大数据·flink
adnyting44 分钟前
【Linux日新月异(八)】CentOS 7系统资源监控与排查深度指南:性能调优全景图
linux·运维·centos
HIT_Weston1 小时前
32、【Ubuntu】【远程开发】内网穿透:远程主机连接
linux·运维·ubuntu
yolo_guo1 小时前
WSL2 安装 centos6.9 子系统
linux
p66666666681 小时前
【☀Linux驱动开发笔记☀】新字符设备驱动开发_02
linux·嵌入式硬件·学习
大聪明-PLUS1 小时前
在 Linux 上使用实时调度策略运行应用程序
linux·嵌入式·arm·smarc
Awkwardx1 小时前
Linux网络编程—应用层自定义协议与序列化
linux·网络
Elastic 中国社区官方博客2 小时前
Elasticsearch:如何创建知识库并使用 AI Assistant 来配置 slack 连接器
大数据·人工智能·elasticsearch·搜索引擎·全文检索·信息与通信
XIAOYU6720132 小时前
中专学历,在服装设计行业真的没出路吗?
大数据