云主机测试Flink磁盘满问题解决

问题描述:

使用云主机测试Flink时,根目录满了。 经排查发现运行Flink任务后根目录空间一直在减少,最后定位持续增加的目录是/tmp目录

解决方法:

修改Flink配置使用一个相对较大的磁盘目录做为Flink运行时目录

Override the directories for temporary files. If not specified, the

system-specific Java temporary directory (java.io.tmpdir property) is taken.

For framework setups on Yarn, Flink will automatically pick up the

containers' temp directories without any need for configuration.

Add a delimited list for multiple directories, using the system directory

delimiter (colon ':' on unix) or a comma, e.g.:

/data1/tmp:/data2/tmp:/data3/tmp

Note: Each directory entry is read from and written to by a different I/O

thread. You can include the same directory multiple times in order to create

multiple I/O threads against that directory. This is for example relevant for

high-throughput RAIDs.

io.tmp.dirs: /dev/shm/tmp

问题解决

相关推荐
Wyawsl1 分钟前
Linux系统安全
linux·运维·系统安全
源码技术栈4 分钟前
整合物联网、大数据、人工智能等技术的Java智慧工地项目管理系统源码
大数据·人工智能·物联网·源码·二次开发·项目·智慧工地
掘根12 分钟前
【即时通讯系统】环境搭建4——Elasticsearch(ES)
大数据·elasticsearch·搜索引擎
青灯文案115 分钟前
Linux 常用目录及其用途
linux·运维·服务器
芒果披萨15 分钟前
Linux磁盘挂载
linux·运维·服务器
forAllforMe17 分钟前
IEC 60601 医疗电气设备安全标准解读
大数据·人工智能
icy、泡芙19 分钟前
全志 GPIO BUG
linux·bug
SMF191924 分钟前
【Docker】Linux系统上卸载旧Docker、卸载Podman并重新安装Docker及配置国内镜像源
linux·docker·podman
2601_9492210326 分钟前
2026年金融AI投研工具对比测评:五大平台深度解析
大数据·人工智能·金融
qq_2975746726 分钟前
K8s系列第二篇:CentOS7/Ubuntu 一键搭建 K8s 集群(kubeadm 完整版)
ubuntu·容器·kubernetes