flink中值得监控的几个指标

背景

为了维持flink的正常运行,对flink的日常监控就变得很重要,本文我们就来看一下flink中要监控的几个重要的指标

重要的监控指标

1.算子的处理速度的指标:numRecordsInPerSecond/numRecordsOutPerSecond,这有助于你了解到算子的是否正在合理运行

2.应用的监控度: uptime表示应用已经持续运行的时间,numRestarts表示job被重启的次数,重启的原因很多种,比如内存占用过多被killed等

3.检查点健康度: numberOfCompletedCheckpoints表示已经完成的检查点数目, numberOfFailedCheckpoints表示未能完成的检查点数目(比如因为状态太多导致超时等未能完成checkpoint操作),

numberOfInProgressCheckpoints表示正在进行中的检查点数目,lastCheckpointDuration表示检查点的持续时间,过长的时间会导致checkpoint失败,

lastCheckpointFullSize表示检查点的大小,这可以帮你检查应用状态大小是否正常

4.基于事件时间的应用的处理延迟:可以对比eventtime和当前时间的延迟,这可以知道是否发生了数据倾斜等问题,导致watermark一直未能前进

5.jvm和容器指标:Jvm使用的内存/cpu大小,容器使用的内存大小(包括jvm+其他组件)

相关推荐
Leinwin14 分钟前
OpenAI已正式开放ChatGPT Projects
大数据·人工智能·microsoft·copilot·azure
潘达斯奈基~18 分钟前
Google AI Studio使用1:创建Flink测试题APP
大数据·flink·aigc
华略创新1 小时前
合理安排时间节点,避免影响正常生产——制造企业软件系统上线的关键考量
大数据·制造·crm·管理系统·企业管理软件
禁默1 小时前
第六届大数据、人工智能与物联网工程国际会议(ICBAIE 2025)
大数据·人工智能·物联网
HaiLang_IT2 小时前
数据分析毕业论文题目推荐:精选选题清单
大数据·数据分析·毕业设计
档案宝档案管理3 小时前
制造业档案管理混乱:档案宝如何破解?
大数据·档案·档案管理
weixin_377634844 小时前
【大模型-写作】STORM提升文章深度
大数据·storm
奋斗的蛋黄4 小时前
HDFS与Yarn深入剖析
大数据·运维·hadoop
七牛云行业应用5 小时前
企业级AI大模型选型指南:从评估部署到安全实践
大数据·人工智能·安全
云飞云共享云桌面5 小时前
非标自动化工厂如何10个三维设计共用一台云主机
大数据·运维·服务器·网络·数据库