云主机测试Flink磁盘满问题解决

问题描述:

使用云主机测试Flink时,根目录满了。 经排查发现运行Flink任务后根目录空间一直在减少,最后定位持续增加的目录是/tmp目录

解决方法:

修改Flink配置使用一个相对较大的磁盘目录做为Flink运行时目录

Override the directories for temporary files. If not specified, the

system-specific Java temporary directory (java.io.tmpdir property) is taken.

For framework setups on Yarn, Flink will automatically pick up the

containers' temp directories without any need for configuration.

Add a delimited list for multiple directories, using the system directory

delimiter (colon ':' on unix) or a comma, e.g.:

/data1/tmp:/data2/tmp:/data3/tmp

Note: Each directory entry is read from and written to by a different I/O

thread. You can include the same directory multiple times in order to create

multiple I/O threads against that directory. This is for example relevant for

high-throughput RAIDs.

io.tmp.dirs: /dev/shm/tmp

问题解决

相关推荐
jiayong239 小时前
Git 常见错误与详细解决方案
大数据·git·elasticsearch
bush49 小时前
linux开发板连接virtualbox虚拟机ubuntu的usb网卡,访问外网方法。
linux·运维·ubuntu
视***间9 小时前
视程空间AIR系列——小体积藏强芯,赋能机器人/机器狗全域落地
大数据·人工智能·机器人·机器狗·ai算力·视程空间
小明同学0110 小时前
C++后端项目:统一大模型接入 SDK(一)
linux·c++·chatgpt
江苏赛融科技10 小时前
打破传统管理壁垒,智慧园区重构楼宇资产管理模式
大数据·人工智能·智慧园区·楼宇资产管理·楼宇智能化
码农编程录10 小时前
【notes10】spi
linux
没有梦想的咸鱼185-1037-166310 小时前
农业普查大数据与AI融合的数字农业与粮食安全智慧决策
大数据·人工智能·chatgpt·数据分析
jiayong2310 小时前
Git 分支命名、区别、联系与顺序关系说明
大数据·git·elasticsearch
大明者省10 小时前
完整 Ubuntu 服务器 XFCE 桌面 + XRDP 远程桌面 部署使用全流程
运维·服务器·ubuntu
米高梅狮子10 小时前
03.OpenStack使用
linux·前端·云原生·容器·架构·kubernetes·openstack