消息队列-Kafka-基础架构

基础架构

官网地址

上面这张图类比RocketMQ 相当于对一个主题进行了分区(类似于RockeMQ 消息队列),每个分区存储到不同的Broker。在发送消息的时候都是发送到主分区。如果一台Broker由于其它节点备份了挂掉节点的数据,所以可以继续进行消费,从而保证了整个集群的高可用性。

在进行消费数据的时候:

  • 如果消费者组中的消费者数量等于分区数量,则消费者组里面的每个消费是分别订阅一个分区的。
  • 如果消费组中的消费者数量小于分区的数量, 这个时候肯定有一个消费者需要消费多一个分区的消息。
  • 如果消费者组中的消费者比分区数还多,则存在一个消费者没有数据的情况,这个时候这个消费者处于空闲状态。
相关推荐
富士康质检员张全蛋2 天前
Kafka 事物
kafka
wear工程师3 天前
Kafka 消费者心跳正常,为什么还会被踢出组?拆清 max.poll.interval.ms
java·kafka
成为你的宁宁4 天前
【Kafka KRaft 集群】
分布式·kafka
2601_960906725 天前
地球或逃逸到相对安全的日心轨道
kafka·hbase·flume·storm
creator_Li5 天前
Kafka深入刨析-Consumer
分布式·kafka
JHC0000006 天前
基于 DrissionPage 与 Xvfb 的分布式无头爬虫架构
分布式·kafka
java1234_小锋7 天前
【免费】基于Spark实时医疗健康数据监测与疾病预测系统(Java版本+可视化大屏+Kafka+SpringBoot+Vue3) 锋哥原创出品,必属精品
大数据·spark·kafka·实时医疗健康数据监测·实时疾病预测系统
菜地里的小菜鸟8 天前
k8s部署单节点 Kafka(KRaft 模式)并启用 SASL 认证
kafka·kraft·k8s部署单节点kafkakraft模式·k8s部署kafka
Volunteer Technology8 天前
Kafka的消费全流程
分布式·kafka·linq
篮框坏了8 天前
Kafka 消费者卡死排查:一个 topic 堵了 18 小时,监控全绿没人发现
kafka