消息队列-Kafka-基础架构

基础架构

官网地址

上面这张图类比RocketMQ 相当于对一个主题进行了分区(类似于RockeMQ 消息队列),每个分区存储到不同的Broker。在发送消息的时候都是发送到主分区。如果一台Broker由于其它节点备份了挂掉节点的数据,所以可以继续进行消费,从而保证了整个集群的高可用性。

在进行消费数据的时候:

  • 如果消费者组中的消费者数量等于分区数量,则消费者组里面的每个消费是分别订阅一个分区的。
  • 如果消费组中的消费者数量小于分区的数量, 这个时候肯定有一个消费者需要消费多一个分区的消息。
  • 如果消费者组中的消费者比分区数还多,则存在一个消费者没有数据的情况,这个时候这个消费者处于空闲状态。
相关推荐
j7~1 天前
【仿 RabbitMQ 项目】发布订阅消息队列 (篇八):交换机数据管理模块,分层类设计、SQLite 回调原理与代码实现
服务器·网络·数据库·消息队列·交换机·交换机数据管理·sqlite回调原理
guo_wen_qiang1 天前
kafka重复消费
分布式·kafka
ClouGence2 天前
开源数据库管理工具 CloudDM 4.4.0 发布,新增 Kafka、SAP HANA 数据源
数据库·kafka
RobinXYuan2 天前
【Kafka 源码手记】01 从消息队列到 Event Streaming
kafka·源码阅读
nvd113 天前
深入剖析:GCP Pub/Sub 与 Apache Kafka 对消息处理延迟与消费者卡死的处理机制异同
分布式·kafka·apache
做个文艺程序员3 天前
MQ第04篇:ActiveMQ深度解析:JMS规范、Spring JMS整合与企业级异步通信实战
spring·消息队列·activemq·java-activemq·jms
做个文艺程序员3 天前
MQ第03篇:RabbitMQ进阶实战:Topic路由+死信队列+延迟消息,SaaS订单超时取消完整方案
分布式·消息队列·rabbitmq·死信队列·延迟队列
笔墨登场说说4 天前
centos 8 使用 kafka_2.13-4.3.1.tgz 安装kafka
linux·kafka·centos
guo_wen_qiang4 天前
kafka一直restarting,报错InconsistentClusterIdException
分布式·kafka
今年下半年4 天前
【消息队列】Spring Boot 集成 Kafka 消息队列:确保消费完成(手动提交偏移量+幂等判断+失败重试机制)
spring boot·kafka·幂等·失败重试