kafka producer metrics

背景

做online Service埋点设计,塞了很多节点,采用了base64压缩,希望能监控当前消息的大小,防止超过threshold后无法正常发送。

kafka基本架构

producer metrics

官方文档

其中有两个参数用来表征在kafka的producer的client里,发送的record的size。这些metrics可以通过JMX的MBeans里的configurable properties获得。需要主动导入Prometheus才可以进行深入分析。

record-size-avg	The average record size
record-size-max	The maximum record size

那么如何将JMX的一些metrics导入Prometheus呢?

这里有一篇文章讲述如何导出的例子,改文章里的例子单独摘在下方:

附上JMX导入Prometheus的示例:
java agent

producer configs

配置参数文档

可以看到默认的时间窗口是30ms,但是metrics的计算至少需要两个samples。所以窗口可以理解为60s。

相关推荐
言之。2 分钟前
Kafka 如何实现高性能
分布式·kafka
大秦王多鱼3 小时前
Kafka 消费端反复 Rebalance: `Attempt to heartbeat failed since group is rebalancing`
运维·分布式·kafka·apache
jimiStephen3 小时前
ZooKeeper-3.8.3-会话
linux·分布式·zookeeper
开着拖拉机回家16 小时前
【Prometheus】jmx_prometheus_javaagent监控java应用
prometheus·javaagent·进程监控·jmx·historyserver
梦醒沉醉1 天前
单机伪分布Hadoop详细配置
大数据·hadoop·分布式
优人ovo1 天前
Kafka的消息协议
分布式·网络协议·kafka
言之。1 天前
【Spark速通】
大数据·分布式·spark
大秦王多鱼1 天前
Kafka常见问题之 `javax.management.InstanceAlreadyExistsException`
运维·分布式·kafka·apache
乙卯年QAQ1 天前
【Hadoop】Hadoop 概述
大数据·hadoop·分布式
天选之子1231 天前
spark运行流程
大数据·分布式·spark