kafka主题,分区,副本,节点几个概念理解

kafka相关概念

一、相关概念

  • 主题:类似于数据库中的表,用于存放生产者的数据
  • 分区:类似于数据库的中分表,将一个主题分成多个分区(一个大表分成多个分表)
  • 节点:kafka数量,或者理解为kafka集群服务器节点数量
  • 副本:相当于对分区的一个备份,这个值小于等于节点数量
  • 消费者组:消费同一类主题的多个消费者

kafka集群中:

如果所有主题配置的是1个副本。当一个节点挂了之后,其他节点无法正常消费。

如果只有doorinout主题副本是二个,当一个节点挂了后,其他节点无法正常消费。

如果__consumer_offsets主题副本是2个,doorinout主题副本是二个,当一个节点挂了后,其他节点除doorinout主题外,其他主题无法消费。

Broker123 为三个不同的节点

topic为主题1,分成了3个分区,3个副本。

bash 复制代码
./bin/kafka-topics.sh --describe --zookeeper 172.16.10.201:2181 --topic myTopic

Topic:myTopic PartitionCount:3 ReplicationFactor:3 Configs:

Topic: myTopic Partition: 0 Leader: 2 Replicas: 2,3,1 Isr: 2,3,1

Topic: myTopic Partition: 1 Leader: 3 Replicas: 3,1,2 Isr: 3,1,2

Topic: myTopic Partition: 2 Leader: 1 Replicas: 1,2,3 Isr: 1,2,3

myTopic中,PartitionCount:3 (分区为3)ReplicationFactor:3 (副本为3)

leader为分区的leader所在的节点。分区0分散在三个副本上,三个副本分散在三个节点上。其他主题分区的副本也都散落在不同的 Broker 上,从而实现数据冗余。

  • AR:Kafka 分区中的所有副本统称为 AR(Assigned Repllicas)
  • ISR:表示和 Leader 保持同步的 Follower 集合。 如果 Follower 长时间未向 Leader 发送通信请求或同步数据,则该 Follower 将被踢出 ISR。 该时间阈值由 replica.lag.time.max.ms参数设定,默认 30s。 Leader 发生故障之后,就会从 ISR 中选举新的 Leader。
  • OSR:表示 Follower 与 Leader 副本同步时,延迟过多的副本

AR = ISR + OSR

相关推荐
只因在人海中多看了你一眼18 分钟前
分布式缓存 + 数据存储 + 消息队列知识体系
分布式·缓存
zhixingheyi_tian3 小时前
Spark 之 Aggregate
大数据·分布式·spark
KevinAha4 小时前
Kafka 3.5 源码导读
kafka
求积分不加C4 小时前
-bash: ./kafka-topics.sh: No such file or directory--解决方案
分布式·kafka
nathan05294 小时前
javaer快速上手kafka
分布式·kafka
激流丶7 小时前
【Kafka 实战】Kafka 如何保证消息的顺序性?
java·后端·kafka
谭震鸿8 小时前
Zookeeper集群搭建Centos环境下
分布式·zookeeper·centos
天冬忘忧13 小时前
Kafka 工作流程解析:从 Broker 工作原理、节点的服役、退役、副本的生成到数据存储与读写优化
大数据·分布式·kafka
工业甲酰苯胺15 小时前
Python脚本消费多个Kafka topic
开发语言·python·kafka
B站计算机毕业设计超人17 小时前
计算机毕业设计SparkStreaming+Kafka新能源汽车推荐系统 汽车数据分析可视化大屏 新能源汽车推荐系统 汽车爬虫 汽车大数据 机器学习
数据仓库·爬虫·python·数据分析·kafka·数据可视化·推荐算法