Kafka应用Demo:多消费者实例按主题订阅消费消息,增强系统可靠性

环境搭建

在本地启动两个消费者进程,配置同的群组(neo1), 订阅同一个主题消费消息。

生产者和消费者代码与《Kafka应用Demo:按主题订阅消费消息》相同。

测试步骤

  1. 生产者发送多个数字消息到kafka队列, 可以看到只有其中一个消费者在接收并消费消息,另外一个消费者实例处于空闲状态。
  1. 把正在处理消息的消费者进程停掉后,另外一个消费者实例将接手处理剩余未完成的消息。

分析

从测试结果来看:启动多个相同组ID的消费者实例,可以提升系统的可靠性,当处理任务的消费者挂掉后 同组的其它消费者能接过任务继续往下处理。但是,备份实例在系统正常运行期间是空闲的,浪费了资源,这种方式没有起到负载均衡的效果。

相关推荐
失散138 分钟前
分布式专题——1.2 Redis7核心数据结构
java·数据结构·redis·分布式·架构
王中阳Go1 小时前
头一次见问这么多kafka的问题
分布式·kafka
鼠鼠我捏,要死了捏1 小时前
Kafka Exactly-Once 语义深度解析与性能优化实践指南
kafka·exactly-once·performance-optimization
boonya2 小时前
Kafka核心原理与常见面试问题解析
分布式·面试·kafka
KIDAKN3 小时前
RabbitMQ 重试机制 和 TTL
分布式·rabbitmq
lifallen4 小时前
Kafka 内存池MemoryPool 设计
数据结构·kafka·apache
JAVA学习通4 小时前
【RabbitMQ】----初识 RabbitMQ
分布式·rabbitmq
项目題供诗8 小时前
Hadoop(八)
大数据·hadoop·分布式
在未来等你9 小时前
Kafka面试精讲 Day 7:消息序列化与压缩策略
大数据·分布式·面试·kafka·消息队列
在未来等你9 小时前
Kafka面试精讲 Day 10:事务机制与幂等性保证
大数据·分布式·面试·kafka·消息队列