93、简述kafka架构设计

kafka架构设计

  • Consumer Group:消费者组,消费者组内每个消费者负责消费不同分区的数据,提高消费能力。逻辑上的一个订阅者。
  • Topic: 可以理解为一个队列,Topic 将消息分类,生产者和消费者面向的是同一个 Topic。
  • Partition: 为了实现扩展性,提高并发能力,一个Topic 以多个Partition的方式分布到多个 Broker 上,每个Partition 是一个有序的队列。一个Topic 的每个Partition都有若干个副本 (Replica),一个Leader和若干个Follower。生产者发送数据的对象,以及消费者消费数据的对象,都是 Leader。Follower负责实时从 Leader 中同步数据,保持和 Leader 数据的同步。Leader 发生故障时,某个 Follower 还会成为新的 Leader.
  • offset: 消费者消费的位置信息,监控数据消费到什么位置,当消费者挂掉再重新恢复的时候,可以从消费位置继续消费。
  • Zookeeper: Kafka 集群能够正常工作,需要依赖于 Zookeeper,Zokeeper 帮助 Kafka 存储和管理集群信息。
相关推荐
Amy1870211182328 分钟前
赋能低压分布式光伏“四可”建设,筑牢电网安全新防线
分布式
June bug4 小时前
【软考中级·软件评测师】下午题·面向对象测试之架构考点全析:分层、分布式、微内核与事件驱动
经验分享·分布式·职场和发展·架构·学习方法·测试·软考
阿波罗.20125 小时前
Zookeeper 客户端 .net访问框架 ZookeeperNetEx项目开发编译
分布式·zookeeper
Bug退退退1236 小时前
RabbitMQ 工作模式
java·分布式·rabbitmq
weixin_438335406 小时前
分布式锁实现方式:基于Redis的分布式锁实现(Spring Boot + Redis)
数据库·redis·分布式
危险、11 小时前
RabbitMQ 通过HTTP API删除队列命令
分布式·http·rabbitmq
周某某~11 小时前
windows安装RabbitMQ
分布式·rabbitmq
Bug退退退12312 小时前
RabbitMQ 高级特性之消息确认
java·分布式·rabbitmq
一只程序汪15 小时前
【如何实现分布式压测中间件】
分布式·中间件
William一直在路上16 小时前
主流分布式中间件及其选型
分布式·中间件