云主机测试Flink磁盘满问题解决

问题描述:

使用云主机测试Flink时,根目录满了。 经排查发现运行Flink任务后根目录空间一直在减少,最后定位持续增加的目录是/tmp目录

解决方法:

修改Flink配置使用一个相对较大的磁盘目录做为Flink运行时目录

Override the directories for temporary files. If not specified, the

system-specific Java temporary directory (java.io.tmpdir property) is taken.

For framework setups on Yarn, Flink will automatically pick up the

containers' temp directories without any need for configuration.

Add a delimited list for multiple directories, using the system directory

delimiter (colon ':' on unix) or a comma, e.g.:

/data1/tmp:/data2/tmp:/data3/tmp

Note: Each directory entry is read from and written to by a different I/O

thread. You can include the same directory multiple times in order to create

multiple I/O threads against that directory. This is for example relevant for

high-throughput RAIDs.

io.tmp.dirs: /dev/shm/tmp

问题解决

相关推荐
Wyawsl9 小时前
Linux系统安全
linux·运维·系统安全
源码技术栈10 小时前
整合物联网、大数据、人工智能等技术的Java智慧工地项目管理系统源码
大数据·人工智能·物联网·源码·二次开发·项目·智慧工地
掘根10 小时前
【即时通讯系统】环境搭建4——Elasticsearch(ES)
大数据·elasticsearch·搜索引擎
青灯文案110 小时前
Linux 常用目录及其用途
linux·运维·服务器
芒果披萨10 小时前
Linux磁盘挂载
linux·运维·服务器
forAllforMe10 小时前
IEC 60601 医疗电气设备安全标准解读
大数据·人工智能
icy、泡芙10 小时前
全志 GPIO BUG
linux·bug
SMF191910 小时前
【Docker】Linux系统上卸载旧Docker、卸载Podman并重新安装Docker及配置国内镜像源
linux·docker·podman
2601_9492210310 小时前
2026年金融AI投研工具对比测评:五大平台深度解析
大数据·人工智能·金融
qq_2975746710 小时前
K8s系列第二篇:CentOS7/Ubuntu 一键搭建 K8s 集群(kubeadm 完整版)
ubuntu·容器·kubernetes