消息队列-Kafka-基础架构

基础架构

官网地址

上面这张图类比RocketMQ 相当于对一个主题进行了分区(类似于RockeMQ 消息队列),每个分区存储到不同的Broker。在发送消息的时候都是发送到主分区。如果一台Broker由于其它节点备份了挂掉节点的数据,所以可以继续进行消费,从而保证了整个集群的高可用性。

在进行消费数据的时候:

  • 如果消费者组中的消费者数量等于分区数量,则消费者组里面的每个消费是分别订阅一个分区的。
  • 如果消费组中的消费者数量小于分区的数量, 这个时候肯定有一个消费者需要消费多一个分区的消息。
  • 如果消费者组中的消费者比分区数还多,则存在一个消费者没有数据的情况,这个时候这个消费者处于空闲状态。
相关推荐
茫茫人海一粒沙13 小时前
理解 Confluent Schema Registry:Kafka 生态中的结构化数据守护者
分布式·kafka
dessler15 小时前
Kafka-消费者(Consumer)和消费者组(Consumer Group)
linux·运维·kafka
虚!!!看代码15 小时前
【Kafka使用方式以及原理】
分布式·kafka
找不到、了10 天前
kafka消费的模式及消息积压处理方案
java·kafka
超级小忍10 天前
Spring Boot 集成 Apache Kafka 实战指南
spring boot·kafka·apache
小韩加油呀11 天前
logstash读取kafka日志写到oss归档存储180天
kafka·logstash
小白上线*^_^*11 天前
Kafka与Zookeeper在linux上的下载记录
zookeeper·kafka·linux上的下载与安装
Edingbrugh.南空11 天前
Kafka Streams架构深度解析:从并行处理到容错机制的全链路实践
架构·kafka
茫茫人海一粒沙11 天前
Kafka 原理与核心机制全解析
kafka
计算机毕设定制辅导-无忧学长11 天前
Kafka 源码剖析:消息存储与协议实现(一)
分布式·kafka