flink中值得监控的几个指标

背景

为了维持flink的正常运行,对flink的日常监控就变得很重要,本文我们就来看一下flink中要监控的几个重要的指标

重要的监控指标

1.算子的处理速度的指标:numRecordsInPerSecond/numRecordsOutPerSecond,这有助于你了解到算子的是否正在合理运行

2.应用的监控度: uptime表示应用已经持续运行的时间,numRestarts表示job被重启的次数,重启的原因很多种,比如内存占用过多被killed等

3.检查点健康度: numberOfCompletedCheckpoints表示已经完成的检查点数目, numberOfFailedCheckpoints表示未能完成的检查点数目(比如因为状态太多导致超时等未能完成checkpoint操作),

numberOfInProgressCheckpoints表示正在进行中的检查点数目,lastCheckpointDuration表示检查点的持续时间,过长的时间会导致checkpoint失败,

lastCheckpointFullSize表示检查点的大小,这可以帮你检查应用状态大小是否正常

4.基于事件时间的应用的处理延迟:可以对比eventtime和当前时间的延迟,这可以知道是否发生了数据倾斜等问题,导致watermark一直未能前进

5.jvm和容器指标:Jvm使用的内存/cpu大小,容器使用的内存大小(包括jvm+其他组件)

相关推荐
牛客企业服务1 小时前
2025校招AI应用:校园招聘的革新与挑战
大数据·人工智能·机器学习·面试·职场和发展·求职招聘·语音识别
电商数据girl2 小时前
如何利用API接口与网页爬虫协同进行电商平台商品数据采集?
大数据·开发语言·人工智能·python·django·json
TDengine (老段)2 小时前
TDengine 中 TDgpt 异常检测的数据密度算法
java·大数据·算法·时序数据库·iot·tdengine·涛思数据
蚂蚁数据AntData3 小时前
DB-GPT 0.7.3 版本更新:支持Qwen3 Embedding和Reranker模型、支持知识库自定义检索策略等
大数据·开源·全文检索·数据库架构
暖苏4 小时前
python-异常(笔记)
大数据·开发语言·笔记·python·异常
松果财经6 小时前
外卖“0元购”退场后,即时零售大战才刚开始
大数据·人工智能
永洪科技6 小时前
永洪科技华西地区客户交流活动成功举办!以AI之力锚定增长确定性
大数据·人工智能·科技·数据分析·数据可视化
snpgroupcn7 小时前
如何管理数据足迹,实现SAP S/4HANA的无缝迁移
大数据·云计算
武子康7 小时前
大数据-58 Kafka 消息发送全流程详解:序列化、分区策略与自定义实现
大数据·后端·kafka
shengyicanmou8 小时前
2025年物联网新趋势:格行随身WiFi的模块化架构与低延迟优化
大数据·人工智能