消息队列-Kafka-基础架构

基础架构

官网地址

上面这张图类比RocketMQ 相当于对一个主题进行了分区(类似于RockeMQ 消息队列),每个分区存储到不同的Broker。在发送消息的时候都是发送到主分区。如果一台Broker由于其它节点备份了挂掉节点的数据,所以可以继续进行消费,从而保证了整个集群的高可用性。

在进行消费数据的时候:

  • 如果消费者组中的消费者数量等于分区数量,则消费者组里面的每个消费是分别订阅一个分区的。
  • 如果消费组中的消费者数量小于分区的数量, 这个时候肯定有一个消费者需要消费多一个分区的消息。
  • 如果消费者组中的消费者比分区数还多,则存在一个消费者没有数据的情况,这个时候这个消费者处于空闲状态。
相关推荐
代码匠心1 小时前
从零开始学Flink:实时数仓与维表时态Join实战
大数据·flink·kafka·flink sql
码客研究员3 小时前
Kafka(05)搭建高可用Kafka集群:从三台服务器开始
服务器·kafka·linq
百锦再4 小时前
Java ForkJoin 框架全面解析:分而治之的并行编程艺术
java·开发语言·spring boot·spring cloud·kafka·tomcat·maven
百锦再17 小时前
Java多线程编程全面解析:从原理到实战
java·开发语言·python·spring·kafka·tomcat·maven
闲人编程1 天前
消息队列模式与应用场景
消息队列·异步·优先级·解耦·点对点·延迟·工作队列
草履虫建模1 天前
Java 集合框架:接口体系、常用实现、底层结构与选型(含线程安全)
java·数据结构·windows·安全·决策树·kafka·哈希算法
百锦再1 天前
线程安全的单例模式全方位解读:从原理到最佳实践
java·javascript·安全·spring·单例模式·kafka·tomcat
百锦再1 天前
Java synchronized关键字详解:从入门到原理(两课时)
java·开发语言·struts·spring·kafka·tomcat·maven
百锦再1 天前
Java重入锁(ReentrantLock)全面解析:从入门到源码深度剖析
java·开发语言·struts·spring·kafka·tomcat·intellij-idea