消息队列-Kafka-基础架构

基础架构

官网地址

上面这张图类比RocketMQ 相当于对一个主题进行了分区(类似于RockeMQ 消息队列),每个分区存储到不同的Broker。在发送消息的时候都是发送到主分区。如果一台Broker由于其它节点备份了挂掉节点的数据,所以可以继续进行消费,从而保证了整个集群的高可用性。

在进行消费数据的时候:

  • 如果消费者组中的消费者数量等于分区数量,则消费者组里面的每个消费是分别订阅一个分区的。
  • 如果消费组中的消费者数量小于分区的数量, 这个时候肯定有一个消费者需要消费多一个分区的消息。
  • 如果消费者组中的消费者比分区数还多,则存在一个消费者没有数据的情况,这个时候这个消费者处于空闲状态。
相关推荐
愤怒的苹果ext6 小时前
Spring Boot Redis Stream队列
spring boot·redis·消息队列·stream
jiayong238 小时前
Kafka 高吞吐消息链路常见面试问题及详细解答
分布式·面试·kafka
段一凡-华北理工大学9 小时前
工业领域的Hadoop架构学习~系列文章05:Kafka消息队列 - 工业数据流传输
人工智能·hadoop·学习·架构·kafka·工业智能体·高炉炼铁智能化
西安邮电大学1 天前
Kafka保证消息顺序性
java·后端·kafka
Devin~Y1 天前
大厂Java面试实录:Spring Boot/Cloud、Kafka、Redis、K8s 可观测性 + RAG/Agent(小Y翻车版)
java·spring boot·redis·spring cloud·kafka·kubernetes·mybatis
西安邮电大学1 天前
Kafka如何避免重复消费
java·后端·其他·面试·kafka
未若君雅裁2 天前
Kafka 数据存储与清理机制:Topic、Partition、Segment与日志删除
分布式·kafka
大帅点兵2 天前
设计一个金融交易监控系统
大数据·clickhouse·flink·spark·kafka·hbase
Plastic garden2 天前
Kafka
分布式·kafka
未若君雅裁2 天前
Kafka 顺序消费:分区、消费者组、Key与业务有序性
分布式·微服务·kafka