93、简述kafka架构设计

kafka架构设计

  • Consumer Group:消费者组,消费者组内每个消费者负责消费不同分区的数据,提高消费能力。逻辑上的一个订阅者。
  • Topic: 可以理解为一个队列,Topic 将消息分类,生产者和消费者面向的是同一个 Topic。
  • Partition: 为了实现扩展性,提高并发能力,一个Topic 以多个Partition的方式分布到多个 Broker 上,每个Partition 是一个有序的队列。一个Topic 的每个Partition都有若干个副本 (Replica),一个Leader和若干个Follower。生产者发送数据的对象,以及消费者消费数据的对象,都是 Leader。Follower负责实时从 Leader 中同步数据,保持和 Leader 数据的同步。Leader 发生故障时,某个 Follower 还会成为新的 Leader.
  • offset: 消费者消费的位置信息,监控数据消费到什么位置,当消费者挂掉再重新恢复的时候,可以从消费位置继续消费。
  • Zookeeper: Kafka 集群能够正常工作,需要依赖于 Zookeeper,Zokeeper 帮助 Kafka 存储和管理集群信息。
相关推荐
苏小夕夕1 小时前
spark-streaming(二)
大数据·spark·kafka
〆、风神1 小时前
Spring Boot 整合 Lock4j + Redisson 实现分布式锁实战
spring boot·分布式·后端
胡萝卜糊了Ohh2 小时前
kafka
分布式·kafka
桑榆08064 小时前
Spark-Streaming核心编程
大数据·分布式·spark
nbsaas-boot6 小时前
分布式微服务架构,数据库连接池设计策略
分布式·微服务·架构
掘金-我是哪吒8 小时前
分布式微服务系统架构第119集:WebSocket监控服务内部原理和执行流程
分布式·websocket·微服务·架构·系统架构
企鹅不耐热.11 小时前
Spark-Streaming核心编程
大数据·分布式·spark
掘金-我是哪吒11 小时前
分布式微服务系统架构第120集:专业WebSocket鉴权
分布式·websocket·微服务·云原生·架构
我是苏苏12 小时前
消息中间件RabbitMQ-01:简要介绍及其Windows安装流程
分布式·rabbitmq
码熔burning12 小时前
【MQ篇】初识RabbitMQ保证消息可靠性
java·分布式·rabbitmq·可靠性