消息队列-Kafka-基础架构

基础架构

官网地址

上面这张图类比RocketMQ 相当于对一个主题进行了分区(类似于RockeMQ 消息队列),每个分区存储到不同的Broker。在发送消息的时候都是发送到主分区。如果一台Broker由于其它节点备份了挂掉节点的数据,所以可以继续进行消费,从而保证了整个集群的高可用性。

在进行消费数据的时候:

  • 如果消费者组中的消费者数量等于分区数量,则消费者组里面的每个消费是分别订阅一个分区的。
  • 如果消费组中的消费者数量小于分区的数量, 这个时候肯定有一个消费者需要消费多一个分区的消息。
  • 如果消费者组中的消费者比分区数还多,则存在一个消费者没有数据的情况,这个时候这个消费者处于空闲状态。
相关推荐
bqq1986102616 分钟前
Kafka高效的原因
缓存·kafka
Kiyra30 分钟前
异步任务不用 Kafka 也行:用 Redis Stream 搭一套轻量级 Producer/Consumer 框架
数据库·人工智能·redis·分布式·后端·缓存·kafka
面向Google编程1 小时前
从零学习Kafka:幂等与事务
大数据·kafka
Jackeyzhe1 小时前
从零学习Kafka:幂等与事务
kafka
倒流时光三十年2 小时前
第6篇 Consumer 精讲(上):Offset 提交与幂等消费
spring boot·kafka
Devin~Y2 小时前
大厂 Java 面试实录:Spring Boot/Cloud、Kafka、Redis、JVM、K8s、RAG 一条龙(小Y翻车版)
java·jvm·spring boot·redis·spring cloud·kafka·kubernetes
IT策士3 小时前
Python 中间件系列:kafka学习
python·中间件·kafka
面向Google编程1 天前
从零学习Kafka:生产者压缩
大数据·kafka
Jackeyzhe1 天前
从零学习Kafka:生产者压缩
kafka
LoneEon1 天前
Kafka集群搭建指南:KRaft模式彻底摒弃Zookeeper
分布式·kafka·centos