Kafka入门到起飞系列 - 副本机制,什么是副本因子呢?

我们一直在讲一个主题会有多个分区,这多个分区可以分布在一台服务器上,也可以分布在多台服务器上,还可以增加分区(Kafka目前只支持分区),这是Kafka提供的一种横向扩展的手段

比如我们创建了一个主题,给主题分配50个分区(这个数不大,_consumer_offset主题默认就50个分区),每个分区放在不同的broker上,那么我们要保证这50台服务器都不能宕机,一旦服务器宕机,分区数据就丢失了,保障服务不宕机这是很难的,所以Kafka给我们提供了副本机制

副本机制

  • 在Kafka中,将主题分成多个分区
  • 分区有两个角色,Leader分区和Follower分区
  • Kafka对外提供读写服务的是Leader分区
  • Follower分区负责从Leader分区同步消息,与Leader分区保持一致
  • Follower分区一定和Leader分区放在不同的服务器(broker)上,否则就没有意义了,一宕全宕
  • 当Leader分区宕机,会从Follower分区(ISR同步副本)选出一个转换成Leader分区继续对外提供服务

我们举个🌰,如下图;

  • Kafka 集群有三个节点(3个broker)
  • 主题Topic有3个分区Partition_0、Partition_1 、Partition_2,三个分区分别放在不同的broker上
  • 粉色为Leader分区,灰色为Follower分区
  • 每个分区有一个副本,也分别放在不同分区上,并且与其Leader分区放在不同的broker上
  • 上图灰色分区就是粉色分区的副本分区
  • Kafka 通过副本分区实现高可用
  • replication-factor 副本因子 = leader + follower replication-factor=3,则leader+2follower
  • Follower 分区像普通的Kafka消费者一样,消费来自Leader分区的消息,并将其持久化到自己的日志中,
  • Kafka允许Follower对日志数据拉取进行批处理

ISR - 同步副本

  • 节点与zookeeper保持通信,通过zookeeper的心跳机制,与zookeeper要保持一个长连接
  • 允许副本分区与Leader分区有一定消息的偏移
相关推荐
百锦再6 小时前
Java 并发编程进阶,从线程池、锁、AQS 到并发容器与性能调优全解析
java·开发语言·jvm·spring·kafka·tomcat·maven
我真会写代码10 小时前
从入门到精通:Kafka核心原理与实战避坑指南
分布式·缓存·kafka
一叶飘零_sweeeet12 小时前
击穿 Kafka 高可用核心:分区副本、ISR 机制与底层原理全链路拆解
分布式·架构·kafka
indexsunny1 天前
互联网大厂Java面试实战:从Spring Boot到微服务架构的深度解析
java·spring boot·spring cloud·kafka·prometheus·security·microservices
睡醒的土豆2 天前
解决 Kafka 管理工具中文乱码问题
分布式·kafka
殷紫川2 天前
击穿 Kafka 高可用核心:分区副本、ISR 机制与底层原理全链路拆解
架构·kafka
岁岁种桃花儿2 天前
Flink从入门到上天系列第二十五篇:Flink和Kafka连接时的精准一次性
大数据·flink·kafka
七夜zippoe2 天前
消息队列选型:Kafka vs RabbitMQ vs Redis 深度对比
redis·python·kafka·消息队列·rabbitmq
LF3_2 天前
监听数据库binlog日志变化,将变动实时发送到kafka
数据库·分布式·mysql·kafka·binlog·debezium