Kafka应用Demo:多消费者实例按主题订阅消费消息,增强系统可靠性

环境搭建

在本地启动两个消费者进程,配置同的群组(neo1), 订阅同一个主题消费消息。

生产者和消费者代码与《Kafka应用Demo:按主题订阅消费消息》相同。

测试步骤

  1. 生产者发送多个数字消息到kafka队列, 可以看到只有其中一个消费者在接收并消费消息,另外一个消费者实例处于空闲状态。
  1. 把正在处理消息的消费者进程停掉后,另外一个消费者实例将接手处理剩余未完成的消息。

分析

从测试结果来看:启动多个相同组ID的消费者实例,可以提升系统的可靠性,当处理任务的消费者挂掉后 同组的其它消费者能接过任务继续往下处理。但是,备份实例在系统正常运行期间是空闲的,浪费了资源,这种方式没有起到负载均衡的效果。

相关推荐
IIIIIILLLLLLLLLLLLL3 小时前
Hadoop集群时间同步方法
大数据·hadoop·分布式
回家路上绕了弯8 小时前
大表优化实战指南:从千万到亿级数据的性能蜕变
分布式·后端
杀死那个蝈坦9 小时前
MyBatis-Plus 使用指南
java·kafka·tomcat·mybatis—plus
CrazyClaz9 小时前
分布式事务专题5
分布式·分布式事务
灯下夜无眠10 小时前
spark集群文件分发问题
大数据·分布式·spark
少许极端11 小时前
Redis入门指南:从零到分布式缓存-string类型
redis·分布式·缓存
Macbethad12 小时前
WPF工业设备诊断管理程序技术方案
大数据·hadoop·分布式
Thomas214313 小时前
pyspark3.5给paimon1.2的表打tag报错 spark_catalog is not a ProcedureCatalog
大数据·分布式·spark
稚辉君.MCA_P8_Java13 小时前
Gemini永久会员 Hadoop分布式计算框架MapReduce
大数据·hadoop·分布式·架构·mapreduce
CrazyClaz13 小时前
分布式事务专题4
分布式·分布式事务