93、简述kafka架构设计

kafka架构设计

  • Consumer Group:消费者组,消费者组内每个消费者负责消费不同分区的数据,提高消费能力。逻辑上的一个订阅者。
  • Topic: 可以理解为一个队列,Topic 将消息分类,生产者和消费者面向的是同一个 Topic。
  • Partition: 为了实现扩展性,提高并发能力,一个Topic 以多个Partition的方式分布到多个 Broker 上,每个Partition 是一个有序的队列。一个Topic 的每个Partition都有若干个副本 (Replica),一个Leader和若干个Follower。生产者发送数据的对象,以及消费者消费数据的对象,都是 Leader。Follower负责实时从 Leader 中同步数据,保持和 Leader 数据的同步。Leader 发生故障时,某个 Follower 还会成为新的 Leader.
  • offset: 消费者消费的位置信息,监控数据消费到什么位置,当消费者挂掉再重新恢复的时候,可以从消费位置继续消费。
  • Zookeeper: Kafka 集群能够正常工作,需要依赖于 Zookeeper,Zokeeper 帮助 Kafka 存储和管理集群信息。
相关推荐
简婷1870199877518 分钟前
高速路上的 “阳光哨兵”:分布式光伏监控系统守护能源高效运转
分布式·能源
csdn_aspnet1 小时前
在 Ubuntu 上安装和配置 Kafka
ubuntu·kafka
钺商科技1 小时前
【6.1.2 漫画分布式事务技术选型】
分布式
帅次1 小时前
系统分析师-计算机系统-输入输出系统
人工智能·分布式·深度学习·神经网络·架构·系统架构·硬件架构
钺商科技5 小时前
【6.1.3 漫画分布式锁】
分布式
jiuweiC9 小时前
spark3 streaming 读kafka写es
elasticsearch·kafka·linq
Bug退退退1231 天前
RabbitMQ 之消息积压
分布式·rabbitmq
熊猫钓鱼>_>1 天前
Hadoop 用户入门指南:驾驭大数据的力量
大数据·hadoop·分布式
文艺倾年1 天前
【八股消消乐】浅尝Kafka性能优化
分布式·性能优化·kafka
钟琛......1 天前
Redisson 的分布式锁
分布式