消息队列-Kafka-基础架构

基础架构

官网地址

上面这张图类比RocketMQ 相当于对一个主题进行了分区(类似于RockeMQ 消息队列),每个分区存储到不同的Broker。在发送消息的时候都是发送到主分区。如果一台Broker由于其它节点备份了挂掉节点的数据,所以可以继续进行消费,从而保证了整个集群的高可用性。

在进行消费数据的时候:

  • 如果消费者组中的消费者数量等于分区数量,则消费者组里面的每个消费是分别订阅一个分区的。
  • 如果消费组中的消费者数量小于分区的数量, 这个时候肯定有一个消费者需要消费多一个分区的消息。
  • 如果消费者组中的消费者比分区数还多,则存在一个消费者没有数据的情况,这个时候这个消费者处于空闲状态。
相关推荐
talen_hx29610 小时前
《kafka核心源码解读》学习笔记 Day 02
笔记·学习·kafka
lifallen10 小时前
如何保证 Kafka 的消息顺序性?
java·大数据·分布式·kafka
真实的菜11 小时前
Kafka 2.x vs 3.x,我为什么选择升级?
kafka
时光追逐者11 小时前
分享四款开源且实用的 Kafka 管理工具
分布式·kafka·开源
Rick199311 小时前
rabbitmq, rocketmq, kafka这三种消息如何分别保住可靠性,顺序性,以及应用场景?
kafka·rabbitmq·rocketmq
☞遠航☜13 小时前
kafka快速上手
分布式·kafka·linq
工具罗某人1 天前
docker compose部署kafka集群搭建
docker·容器·kafka
qq_297574671 天前
【Kafka 系列・入门第六篇】Kafka 集群部署(3 节点)+ 负载均衡配置
分布式·kafka·负载均衡
浮尘笔记1 天前
Docker中安装Kafka以及基本配置和用法、踩坑记录
后端·docker·容器·kafka·php