云主机测试Flink磁盘满问题解决

问题描述:

使用云主机测试Flink时,根目录满了。 经排查发现运行Flink任务后根目录空间一直在减少,最后定位持续增加的目录是/tmp目录

解决方法:

修改Flink配置使用一个相对较大的磁盘目录做为Flink运行时目录

Override the directories for temporary files. If not specified, the

system-specific Java temporary directory (java.io.tmpdir property) is taken.

For framework setups on Yarn, Flink will automatically pick up the

containers' temp directories without any need for configuration.

Add a delimited list for multiple directories, using the system directory

delimiter (colon ':' on unix) or a comma, e.g.:

/data1/tmp:/data2/tmp:/data3/tmp

Note: Each directory entry is read from and written to by a different I/O

thread. You can include the same directory multiple times in order to create

multiple I/O threads against that directory. This is for example relevant for

high-throughput RAIDs.

io.tmp.dirs: /dev/shm/tmp

问题解决

相关推荐
Codefengfeng3 小时前
CTF工具篇
linux·运维·服务器
是做服装的同学4 小时前
服装软件ERP管理系统实现智能化流程管控与业务协同
大数据·经验分享·其他
上海合宙LuatOS4 小时前
LuatOS核心库API——【i2c】I2C 操作
linux·运维·单片机·嵌入式硬件·物联网·计算机外设·硬件工程
一文解千机5 小时前
wine 优化配置及显卡加速,完美运行Electron 编译的程序(新榜小豆芽、作家助手、小V猫等)
linux·ubuntu·electron·wine·wine优化配置·wine显卡加速·wine大型游戏
Sinosecu-OCR5 小时前
释放数字化力量:智能OCR识别如何重塑现代办公效率
大数据·人工智能
2401_858286117 小时前
OS53.【Linux】System V 共享内存(2)
linux·运维·服务器·共享内存
humors2217 小时前
【分享】传统文化/国学/圣贤视频
大数据·程序人生
coding随想10 小时前
ESM + TypeScript:零配置实现类型安全的现代开发
安全·ubuntu·typescript
新缸中之脑10 小时前
Graphlit: AI代理的上下文图层
大数据·人工智能
heimeiyingwang10 小时前
大模型 RAG 技术原理与企业级落地实践
大数据·数据库·人工智能·架构