kafka producer metrics

背景

做online Service埋点设计,塞了很多节点,采用了base64压缩,希望能监控当前消息的大小,防止超过threshold后无法正常发送。

kafka基本架构

producer metrics

官方文档

其中有两个参数用来表征在kafka的producer的client里,发送的record的size。这些metrics可以通过JMX的MBeans里的configurable properties获得。需要主动导入Prometheus才可以进行深入分析。

复制代码
record-size-avg	The average record size
record-size-max	The maximum record size

那么如何将JMX的一些metrics导入Prometheus呢?

这里有一篇文章讲述如何导出的例子,改文章里的例子单独摘在下方:

附上JMX导入Prometheus的示例:
java agent

producer configs

配置参数文档

可以看到默认的时间窗口是30ms,但是metrics的计算至少需要两个samples。所以窗口可以理解为60s。

相关推荐
Amy187021118235 小时前
赋能低压分布式光伏“四可”建设,筑牢电网安全新防线
分布式
June bug9 小时前
【软考中级·软件评测师】下午题·面向对象测试之架构考点全析:分层、分布式、微内核与事件驱动
经验分享·分布式·职场和发展·架构·学习方法·测试·软考
阿波罗.201210 小时前
Zookeeper 客户端 .net访问框架 ZookeeperNetEx项目开发编译
分布式·zookeeper
Bug退退退12311 小时前
RabbitMQ 工作模式
java·分布式·rabbitmq
weixin_4383354011 小时前
分布式锁实现方式:基于Redis的分布式锁实现(Spring Boot + Redis)
数据库·redis·分布式
危险、16 小时前
RabbitMQ 通过HTTP API删除队列命令
分布式·http·rabbitmq
周某某~16 小时前
windows安装RabbitMQ
分布式·rabbitmq
Bug退退退12316 小时前
RabbitMQ 高级特性之消息确认
java·分布式·rabbitmq
一只程序汪19 小时前
【如何实现分布式压测中间件】
分布式·中间件
William一直在路上20 小时前
主流分布式中间件及其选型
分布式·中间件