云主机测试Flink磁盘满问题解决

问题描述:

使用云主机测试Flink时,根目录满了。 经排查发现运行Flink任务后根目录空间一直在减少,最后定位持续增加的目录是/tmp目录

解决方法:

修改Flink配置使用一个相对较大的磁盘目录做为Flink运行时目录

Override the directories for temporary files. If not specified, the

system-specific Java temporary directory (java.io.tmpdir property) is taken.

For framework setups on Yarn, Flink will automatically pick up the

containers' temp directories without any need for configuration.

Add a delimited list for multiple directories, using the system directory

delimiter (colon ':' on unix) or a comma, e.g.:

/data1/tmp:/data2/tmp:/data3/tmp

Note: Each directory entry is read from and written to by a different I/O

thread. You can include the same directory multiple times in order to create

multiple I/O threads against that directory. This is for example relevant for

high-throughput RAIDs.

io.tmp.dirs: /dev/shm/tmp

问题解决

相关推荐
wangjialelele12 分钟前
详解Redis终端操作和Redis-plus-plus接口使用
linux·数据库·c++·redis·分布式·缓存·中间件
hughnz14 分钟前
走进贝克休斯油田技术服务世界
大数据·人工智能·能源·钻井
GlobalInfo16 分钟前
汽车电感式位置传感器行业单项冠军申请趋势分析报告
大数据·人工智能·汽车
zandy101117 分钟前
企业合同管理系统选型全指南:专业 CLM 系统选型核心逻辑与实操框架
大数据·人工智能
数据小玩子17 分钟前
精准归因:如何量化分析光伏电站的每一分发电损失?
大数据·人工智能·数据可视化·助睿数智·光伏电站运营
TDengine (老段)22 分钟前
TDengine IDMP 组态面板 —— 连线
大数据·数据库·物联网·时序数据库·iot·tdengine·涛思数据
Zzj_tju23 分钟前
AI+医疗进阶:多智能体系统怎么协作做诊断、总结与质控?
大数据·人工智能
timi先生23 分钟前
安装 GitLab
linux·运维
MonkeyKing_sunyuhua24 分钟前
金蝶,用友,东软等传统软件公司怎么应对AI改革
大数据·人工智能
[纳川]30 分钟前
Alibaba Cloud Linux 4或者 CentOS 9 无法秘钥登录
linux·运维·centos