Kafka应用Demo:多消费者实例按主题订阅消费消息,增强系统可靠性

环境搭建

在本地启动两个消费者进程,配置同的群组(neo1), 订阅同一个主题消费消息。

生产者和消费者代码与《Kafka应用Demo:按主题订阅消费消息》相同。

测试步骤

  1. 生产者发送多个数字消息到kafka队列, 可以看到只有其中一个消费者在接收并消费消息,另外一个消费者实例处于空闲状态。
  1. 把正在处理消息的消费者进程停掉后,另外一个消费者实例将接手处理剩余未完成的消息。

分析

从测试结果来看:启动多个相同组ID的消费者实例,可以提升系统的可靠性,当处理任务的消费者挂掉后 同组的其它消费者能接过任务继续往下处理。但是,备份实例在系统正常运行期间是空闲的,浪费了资源,这种方式没有起到负载均衡的效果。

相关推荐
小生凡一17 分钟前
腾讯二面:TCC分布式事务 | 图解TCC|用Go语言实现一个TCC
开发语言·分布式·golang
Leaf吧1 小时前
分布式定时任务(xxl-job)
java·分布式
青灯文案13 小时前
RabbitMQ 四种交换机(Direct、Topic、Fanout、Headers)详解
分布式·rabbitmq·ruby
煤烦恼5 小时前
kafka整合flume与DStream转换
分布式·kafka
快乐点吧5 小时前
启动命令汇总(Redis / Kafka / Flume / Spark)
redis·kafka·flume
小马爱打代码16 小时前
SpringBoot原生实现分布式MapReduce计算
spring boot·分布式·mapreduce
南客先生17 小时前
互联网大厂Java面试:RocketMQ、RabbitMQ与Kafka的深度解析
java·面试·kafka·rabbitmq·rocketmq·消息中间件
悻运17 小时前
如何配置Spark
大数据·分布式·spark
懒惰的橘猫17 小时前
Spark集群搭建之Yarn模式
大数据·分布式·spark
2401_8242568617 小时前
Spark-Streaming
大数据·分布式·spark