93、简述kafka架构设计

kafka架构设计

  • Consumer Group:消费者组,消费者组内每个消费者负责消费不同分区的数据,提高消费能力。逻辑上的一个订阅者。
  • Topic: 可以理解为一个队列,Topic 将消息分类,生产者和消费者面向的是同一个 Topic。
  • Partition: 为了实现扩展性,提高并发能力,一个Topic 以多个Partition的方式分布到多个 Broker 上,每个Partition 是一个有序的队列。一个Topic 的每个Partition都有若干个副本 (Replica),一个Leader和若干个Follower。生产者发送数据的对象,以及消费者消费数据的对象,都是 Leader。Follower负责实时从 Leader 中同步数据,保持和 Leader 数据的同步。Leader 发生故障时,某个 Follower 还会成为新的 Leader.
  • offset: 消费者消费的位置信息,监控数据消费到什么位置,当消费者挂掉再重新恢复的时候,可以从消费位置继续消费。
  • Zookeeper: Kafka 集群能够正常工作,需要依赖于 Zookeeper,Zokeeper 帮助 Kafka 存储和管理集群信息。
相关推荐
Jabes.yang35 分钟前
互联网大厂Java面试:从缓存技术到安全框架的深度探索
消息队列·java面试·缓存技术·互联网大厂·安全框架
235162 小时前
【MQ】RabbitMQ:架构、工作模式、高可用与流程解析
java·分布式·架构·kafka·rabbitmq·rocketmq·java-rabbitmq
xrkhy2 小时前
分布式之RabbitMQ的使用(3)QueueBuilder
分布式·rabbitmq
__XYZ3 小时前
RedisTemplate 实现分布式锁
java·spring boot·redis·分布式·junit
失散135 小时前
分布式专题——44 ElasticSearch安装
java·分布式·elasticsearch·架构
無限神樂6 小时前
RabbitMQ概述,Rabbitmq是什么
分布式·rabbitmq
fakerth6 小时前
【OpenHarmony】分布式文件服务模块架构
分布式·架构·操作系统·openharmony
通信小呆呆6 小时前
分布式雷达 vs 多基地雷达:同频共振的“合唱团”和“乐队”
分布式·目标检测·信息与通信·信号处理·计算成像
北极光SD-WAN组网6 小时前
分布式控制系统(DCS)的智能组网技术解析及解决方案
分布式
2301_768350236 小时前
RabbitMq工作流程
分布式·rabbitmq