kafka producer metrics

背景

做online Service埋点设计,塞了很多节点,采用了base64压缩,希望能监控当前消息的大小,防止超过threshold后无法正常发送。

kafka基本架构

producer metrics

官方文档

其中有两个参数用来表征在kafka的producer的client里,发送的record的size。这些metrics可以通过JMX的MBeans里的configurable properties获得。需要主动导入Prometheus才可以进行深入分析。

复制代码
record-size-avg	The average record size
record-size-max	The maximum record size

那么如何将JMX的一些metrics导入Prometheus呢?

这里有一篇文章讲述如何导出的例子,改文章里的例子单独摘在下方:

附上JMX导入Prometheus的示例:
java agent

producer configs

配置参数文档

可以看到默认的时间窗口是30ms,但是metrics的计算至少需要两个samples。所以窗口可以理解为60s。

相关推荐
没有bug.的程序员1 小时前
金融支付分布式架构实战:从理论到生产级实现
java·分布式·微服务·金融·架构·分布式调度系统
在未来等你1 小时前
Elasticsearch面试精讲 Day 25:Elasticsearch SQL与数据分析
大数据·分布式·elasticsearch·搜索引擎·面试
有一个好名字3 小时前
万字 Apache ShardingSphere 完全指南:从分库分表到分布式数据库生态
数据库·分布式·apache
Aurora_eye3 小时前
记录之Ubuntu22.4虚拟机及hadoop为分布式安装
大数据·hadoop·分布式
liangsheng_g4 小时前
Kafka服务端处理producer请求原理解析
kafka
斯班奇的好朋友阿法法5 小时前
rabbitmq服务端消费端实例(direct和fanout模式)
分布式·rabbitmq·ruby
斯班奇的好朋友阿法法5 小时前
rabbitmq的多交换机(扇出为例)监听实现
分布式·rabbitmq·ruby
没有bug.的程序员5 小时前
分布式架构未来趋势:从云原生到智能边缘的演进之路
java·分布式·微服务·云原生·架构·分布式系统
武话不港15 小时前
RabbitMQ异常,handleDelivery方法异常
分布式·消息队列·rabbitmq
^Moon^10 小时前
CycloneDDS:跨主机多进程通信全解析
c++·分布式·dds