Kafka应用Demo:多消费者实例按主题订阅消费消息,增强系统可靠性

环境搭建

在本地启动两个消费者进程,配置同的群组(neo1), 订阅同一个主题消费消息。

生产者和消费者代码与《Kafka应用Demo:按主题订阅消费消息》相同。

测试步骤

  1. 生产者发送多个数字消息到kafka队列, 可以看到只有其中一个消费者在接收并消费消息,另外一个消费者实例处于空闲状态。
  1. 把正在处理消息的消费者进程停掉后,另外一个消费者实例将接手处理剩余未完成的消息。

分析

从测试结果来看:启动多个相同组ID的消费者实例,可以提升系统的可靠性,当处理任务的消费者挂掉后 同组的其它消费者能接过任务继续往下处理。但是,备份实例在系统正常运行期间是空闲的,浪费了资源,这种方式没有起到负载均衡的效果。

相关推荐
群联云防护小杜5 小时前
构建分布式高防架构实现业务零中断
前端·网络·分布式·tcp/ip·安全·游戏·架构
爱吃面的猫5 小时前
大数据Hadoop之——Flink1.17.0安装与使用(非常详细)
大数据·hadoop·分布式
上上迁7 小时前
分布式生成 ID 策略的演进和最佳实践,含springBoot 实现(Java版本)
java·spring boot·分布式
长路 ㅤ   7 小时前
Java后端技术博客汇总文档
分布式·算法·技术分享·编程学习·java后端
暗影八度9 小时前
Spark流水线数据质量检查组件
大数据·分布式·spark
CodeWithMe10 小时前
【Note】《Kafka: The Definitive Guide》 第5章:深入 Kafka 内部结构,理解分布式日志系统的核心奥秘
分布式·kafka
CodeWithMe10 小时前
【Note】《Kafka: The Definitive Guide》第一章:Meet Kafka
分布式·kafka
CodeWithMe10 小时前
【Note】《Kafka: The Definitive Guide》 第二章 Installing Kafka:Kafka 安装与运行
分布式·kafka
星图易码13 小时前
能源管理综合平台——分布式能源项目一站式监控
分布式·能源
CodeWithMe15 小时前
【Note】《Kafka: The Definitive Guide》 第8章: Cross-Cluster Data Mirroring
分布式·kafka