flink中值得监控的几个指标

背景

为了维持flink的正常运行,对flink的日常监控就变得很重要,本文我们就来看一下flink中要监控的几个重要的指标

重要的监控指标

1.算子的处理速度的指标:numRecordsInPerSecond/numRecordsOutPerSecond,这有助于你了解到算子的是否正在合理运行

2.应用的监控度: uptime表示应用已经持续运行的时间,numRestarts表示job被重启的次数,重启的原因很多种,比如内存占用过多被killed等

3.检查点健康度: numberOfCompletedCheckpoints表示已经完成的检查点数目, numberOfFailedCheckpoints表示未能完成的检查点数目(比如因为状态太多导致超时等未能完成checkpoint操作),

numberOfInProgressCheckpoints表示正在进行中的检查点数目,lastCheckpointDuration表示检查点的持续时间,过长的时间会导致checkpoint失败,

lastCheckpointFullSize表示检查点的大小,这可以帮你检查应用状态大小是否正常

4.基于事件时间的应用的处理延迟:可以对比eventtime和当前时间的延迟,这可以知道是否发生了数据倾斜等问题,导致watermark一直未能前进

5.jvm和容器指标:Jvm使用的内存/cpu大小,容器使用的内存大小(包括jvm+其他组件)

相关推荐
固定资产管理系统软件1 小时前
商务局RFID固定资产管理系统的应用价值与落地要点解析
大数据·python
FoldWinCard3 小时前
K8s集群部署的方法原理
大数据·容器·kubernetes
招财小梗3 小时前
AI矩阵获客,品牌连锁落地方案揭秘
大数据·人工智能·矩阵
用户3610588626124 小时前
SparkSQL 之 Hive On Spark 原理分析
大数据·spark
白色机械键盘4 小时前
领域大模型微调数据集构建实战
大数据·人工智能
东莞和裕包装5 小时前
如何管控广州定制纸箱生产中的啤切精度与印刷色差质量问题
大数据·运维·网络·人工智能
时下握今6 小时前
CDA一级认证|三大基础分析范式怎么理解?分类/链式/相关范式详解
大数据
xiaopai9456 小时前
从WPS工程项目管理表到工程项目管理系统:企业数字化升级的边界在哪里?
大数据·wps·工程项目管理·建米软件
明源云6 小时前
穿透式监管如何打破国有资产盘活困局?
大数据·网络·人工智能·架构
躺柒7 小时前
读数据可视化11数据可视化基础
大数据·信息可视化·数据分析·可视化·数据可视化·大数据分析