聊聊RocketMQ中的broker的TPS和QPS为何相差巨大,是如何统计的

这里是weihubeats ,觉得文章不错可以关注公众号小奏技术,文章首发。拒绝营销号,拒绝标题党

最近在看RocketMQ的一些监控指标的时候,总觉得一些监控指标不太对,好像对不上。

所以打算研究下看看RocketMQ中的 broker TPSbroker QPS,producer TPS 这些指标是怎么统计出来的。为什么broker的QPS有时候会和TPS相差很大

Broker TPS

我们先来看看broker TPS是如何统计的吧

这里我们直接以最新的rocketmq-exporter源码进行查看

这里可以看到exporter主要是通过获取BrokerStatsManager.BROKER_PUT_NUMS这个指标来上报broker TPS

我们去RocketMQ源码看看这个指标是如何统计的

首先找到org.apache.rocketmq.common.stats.Stats#BROKER_PUT_NUMS

然后我们看看调用,具体是在哪里进行计数的

计数的地方有两个,一个是每次加1,一次是每次添加指定的数量

我们先看看加1的地方

这里可以看到是消息存储成功后就加+1,也就是每次消息发送成功后就+1

我们再看看另一个一个批量添加数据的地方

可以看到也是消息发送成功存储后就计数,这里包含的一些消息有比如PoP方式的消息、普通消息、延时消息、request-reply消息等

总结: 总的来说broker TPS的统计方式就通过统计每秒总共发送了多少消息量

Broker QPS

我们还是看看broker QPS是如何统计的

这里的指标主要是BrokerStatsManager.BROKER_GET_NUMS

我们去RocketMQ源码看看是如何统计的

可以看到拉取消息的时候会进行计数,也就是消息消费时候统计的。

所以QPS就是每秒消息消费的QPS

为什么QPS和TPS差异那么大

实际这是正常的,比如我们的TPS是2w,也就是每秒我们发送了2w的消息,我们每条消息如果是3个消费者,就是一条消息被消费3次,就是QPS差不多相比TPS会多4倍,差不多是6W左右

所以一般QPS都会高于TPS

producer TPS

producer TPS是以为Topic为,正常所有topic的 TPS之和应该是等于broker的TPS

总结

总的来说一般一条消息会被多个业务方消费,所以QPS都是会大于TPS的。

TPS主要是统计写消息量

QPS主要是统计读(消费)消息量

主要注意的是rocketmq-exporter官方目前的统计是有一个小bug的

统计的一些QPS、TPS改成统计的是TPM。所以如果要修复这个bug可以参考这个pr

github.com/apache/rock...

相关讨论可以参考这个issues

github.com/apache/rock...

相关推荐
huatian52 小时前
Rust 语法整理
开发语言·后端·rust
毕设源码-赖学姐2 小时前
【开题答辩全过程】以 基于Springboot的球场管理平台的设计与实现为例,包含答辩的问题和答案
java·spring boot·后端
武子康2 小时前
Java-213 RocketMQ(MetaQ)演进与核心架构:NameServer/Broker/Producer/Consumer 工作机制
大数据·分布式·架构·消息队列·系统架构·rocketmq·java-rocketmq
BIBI20492 小时前
Windows 上配置 Nacos Server 3.x.x 使用 MySQL 5.7
java·windows·spring boot·后端·mysql·nacos·配置
IT_陈寒2 小时前
Redis高频踩坑实录:5个不报错但会导致性能腰斩的'隐秘'配置项
前端·人工智能·后端
CoolerWu2 小时前
2025 · 我与 AI / Vibe Coding 的一年
前端·后端
不思念一个荒废的名字2 小时前
【黑马JavaWeb+AI知识梳理】Web后端开发06 - SpringBoot原理篇
spring boot·后端
AC赳赳老秦2 小时前
DeepSeek-Coder vs Copilot:嵌入式开发场景适配性对比实战
java·前端·后端·struts·mongodb·copilot·deepseek
9号达人3 小时前
支付配置时好时坏?异步方法里的对象引用坑
java·后端·面试
Tony Bai3 小时前
Go 性能分析的“新范式”:用关键路径分析破解高并发延迟谜题
开发语言·后端·golang