消息队列-Kafka-基础架构

基础架构

官网地址

上面这张图类比RocketMQ 相当于对一个主题进行了分区(类似于RockeMQ 消息队列),每个分区存储到不同的Broker。在发送消息的时候都是发送到主分区。如果一台Broker由于其它节点备份了挂掉节点的数据,所以可以继续进行消费,从而保证了整个集群的高可用性。

在进行消费数据的时候:

  • 如果消费者组中的消费者数量等于分区数量,则消费者组里面的每个消费是分别订阅一个分区的。
  • 如果消费组中的消费者数量小于分区的数量, 这个时候肯定有一个消费者需要消费多一个分区的消息。
  • 如果消费者组中的消费者比分区数还多,则存在一个消费者没有数据的情况,这个时候这个消费者处于空闲状态。
相关推荐
Qt程序员18 小时前
【无标题】
linux·c++·消息队列·共享内存·c/c++·管道·信号量
苍煜19 小时前
Kafka vs RocketMQ 生产环境选型指南
分布式·kafka·rocketmq
_Evan_Yao2 天前
内存映射文件与零拷贝:Kafka、RocketMQ 飞升的秘密通道
分布式·kafka·rocketmq
小江的记录本3 天前
【Kafka核心】Kafka高性能的四大核心支柱:零拷贝、批量发送、页缓存、压缩
java·数据库·分布式·后端·缓存·kafka·rabbitmq
ezreal_pan3 天前
Docker部署Kafka持久化遇到的各种问题及解决方案
docker·容器·kafka
ErizJ4 天前
Kafka | 学习笔记
笔记·学习·kafka
小江的记录本4 天前
【Kafka核心】架构模型:Producer、Broker、Consumer、Consumer Group、Topic、Partition、Replica
java·数据库·分布式·后端·搜索引擎·架构·kafka
空中海5 天前
Kafka :存储、复制与可靠性
分布式·kafka·linq
渣渣盟5 天前
构建企业级实时数据管道:Kafka + Flink 最佳实践
分布式·flink·kafka
空中海5 天前
Spring Boot Kafka 项目 Demo:订单事件系统 专家知识、源码阅读路线与面试题
spring boot·kafka·linq