Kafka应用Demo:多消费者实例按主题订阅消费消息,增强系统可靠性

环境搭建

在本地启动两个消费者进程,配置同的群组(neo1), 订阅同一个主题消费消息。

生产者和消费者代码与《Kafka应用Demo:按主题订阅消费消息》相同。

测试步骤

  1. 生产者发送多个数字消息到kafka队列, 可以看到只有其中一个消费者在接收并消费消息,另外一个消费者实例处于空闲状态。
  1. 把正在处理消息的消费者进程停掉后,另外一个消费者实例将接手处理剩余未完成的消息。

分析

从测试结果来看:启动多个相同组ID的消费者实例,可以提升系统的可靠性,当处理任务的消费者挂掉后 同组的其它消费者能接过任务继续往下处理。但是,备份实例在系统正常运行期间是空闲的,浪费了资源,这种方式没有起到负载均衡的效果。

相关推荐
码农幻想梦1 小时前
19723分布式队列
分布式
angen20181 小时前
kafka + flink +mysql 案例
flink·kafka
littleschemer1 小时前
聊天服务器分布式改造
分布式·spring cloud·qq·聊天室
Hard_pea2 小时前
Spark 深入解析
大数据·分布式·spark
站在墙头上3 小时前
Kafka的各个组件说明
分布式·kafka
清云逸仙3 小时前
RabbitMQ专项
分布式·rabbitmq
serendipity_hky3 小时前
【RabbitMQ | 第1篇】Erlang 和 RabbitMQ 的下载安装
分布式·rabbitmq·erlang
TiDB_PingCAP11 小时前
海量数据融合互通丨TiDB 在安徽省住房公积金监管服务平台的应用实践
分布式·tidb·htap
程序员的世界你不懂12 小时前
Kafka 推送消息,移动端自动化测试,数据驱动测试
分布式·kafka·linq
Demons_kirit16 小时前
Dubbo+Zookeeper
分布式·zookeeper·dubbo