kafka producer metrics

背景

做online Service埋点设计,塞了很多节点,采用了base64压缩,希望能监控当前消息的大小,防止超过threshold后无法正常发送。

kafka基本架构

producer metrics

官方文档

其中有两个参数用来表征在kafka的producer的client里,发送的record的size。这些metrics可以通过JMX的MBeans里的configurable properties获得。需要主动导入Prometheus才可以进行深入分析。

record-size-avg	The average record size
record-size-max	The maximum record size

那么如何将JMX的一些metrics导入Prometheus呢?

这里有一篇文章讲述如何导出的例子,改文章里的例子单独摘在下方:

附上JMX导入Prometheus的示例:
java agent

producer configs

配置参数文档

可以看到默认的时间窗口是30ms,但是metrics的计算至少需要两个samples。所以窗口可以理解为60s。

相关推荐
Lyqfor42 分钟前
云原生学习
java·分布式·学习·阿里云·云原生
流雨声1 小时前
2024-09-01 - 分布式集群网关 - LoadBalancer - 阿里篇 - 流雨声
分布式
floret*2 小时前
用pyspark把kafka主题数据经过etl导入另一个主题中的有关报错
分布式·kafka·etl
william8232 小时前
Information Server 中共享开源服务中 kafka 的__consumer_offsets目录过大清理
分布式·kafka·开源
P.H. Infinity3 小时前
【RabbitMQ】10-抽取MQ工具
数据库·分布式·rabbitmq
lzhlizihang4 小时前
Kafka一些常用的命令行操作【包含主题命令、生产者和消费者命令】
kafka
Hsu_kk5 小时前
Kafka 安装教程
大数据·分布式·kafka
苍老流年5 小时前
1. kafka分布式环境搭建
分布式·kafka
sj11637394035 小时前
Kafka参数了解
数据库·分布式·kafka
Hsu_kk5 小时前
Kafka Eagle 安装教程
分布式·kafka