Kafka应用Demo:多消费者实例按主题订阅消费消息,增强系统可靠性

环境搭建

在本地启动两个消费者进程,配置同的群组(neo1), 订阅同一个主题消费消息。

生产者和消费者代码与《Kafka应用Demo:按主题订阅消费消息》相同。

测试步骤

  1. 生产者发送多个数字消息到kafka队列, 可以看到只有其中一个消费者在接收并消费消息,另外一个消费者实例处于空闲状态。
  1. 把正在处理消息的消费者进程停掉后,另外一个消费者实例将接手处理剩余未完成的消息。

分析

从测试结果来看:启动多个相同组ID的消费者实例,可以提升系统的可靠性,当处理任务的消费者挂掉后 同组的其它消费者能接过任务继续往下处理。但是,备份实例在系统正常运行期间是空闲的,浪费了资源,这种方式没有起到负载均衡的效果。

相关推荐
记得开心一点嘛5 小时前
使用MinIO搭建自己的分布式文件存储
分布式·spring cloud·minio
纪元A梦7 小时前
分布式拜占庭容错算法——PBFT算法深度解析
java·分布式·算法
HAPPY酷9 小时前
Kafka 和Redis 在系统架构中的位置
redis·kafka·系统架构
忆雾屿10 小时前
云原生时代 Kafka 深度实践:06原理剖析与源码解读
java·后端·云原生·kafka
TCChzp12 小时前
Kafka入门-消费者
分布式·kafka
FakeOccupational15 小时前
【p2p、分布式,区块链笔记 MESH】Bluetooth蓝牙通信 BLE Mesh协议的拓扑结构 & 定向转发机制
笔记·分布式·p2p
·云扬·17 小时前
【PmHub面试篇】性能监控与分布式追踪利器Skywalking面试专题分析
分布式·面试·skywalking
后端码匠17 小时前
Spark 单机模式部署与启动
大数据·分布式·spark
Dnui_King18 小时前
Kafka 入门指南与一键部署
分布式·kafka