Kafka(一)基础介绍

一,Kafka集群


一个典型的 Kafka 体系架构包括若Producer、Broker、Consumer,以及一个ZooKeeper集群,如图所示。

  • ZooKeeper:Kafka负责集群元数据的管理、控制器的选举等操作的;
  • Producer:将消息发送到Broker;
  • Broker:服务代理节点,负责将收到的消息存储到磁盘中。Broker可以简单地看作一个独立的Kafka服务节点或Kafka服务实例,一个或多个Broker组成了一个Kafka集群。
  • Consumer:负责从Broker订阅并消费消息;

二, 主题(Topic)与分区(Partition)


  • 消息根据Topic归类,生产者将消息发送到特定的Topic,而消费者订阅Topic并进行消费。
  • 一个Topic可以有多个Partition,Partition是一个可追加的日志文件,消息在被追加到分区日志都会分配一个特定的偏移量(offset)。
  • Kafka通过offset来保证消息在分区内的顺序性,不过offset并不跨越分区,也就是说, Kafka保证的是分区有序而不是Topic有序。
  • 分区可以分布在不同的broker上,也就是说, 一个Topic可以横跨多个broker。
  • Consumer使用Pull模式从服务端拉取消息,并且 保存消费的offset,当消费者宕机后恢复时可以根据offset重新拉取,这样就不会造成消息丢失。

1,Replica机制
分区引入了多副本(Replica)机制,通过增加副本数量可以提升容灾能力。
副本一主多从,其中leader副本负责处理 读写请求( 生产者和消费者只与leader交互 ),follower副本只负责与leader副本的消息同步。
2, AR = ISR + OSR
AR:分区中的所有的副本
ISR:与leader保持一定程度(可配置)同步的副本(包括leader在内)
OSR:与leader同步滞后过多的副本
正常情况下,所有的 follower 副本都应该与 leader 副本保持一定程度的同步,即 AR=ISR,OSR集合为空。

  • leader负责维护和跟踪所有follower的滞后状态,并把follower在ISR和OSR中移动;
  • 默认下,当leader发生故障时,只有在ISR中的副本才有资格被选举为新的leader(可通过配置改变)

3,HW和LEO
这是两个特定的偏移量。
HW:High Watermark的缩写,俗称高水位。消费者只能拉取到这个HW之前的消息;
LEO:Log End Offset的缩写,标识下一条待写入消息的offset;

注意:这俩都有个+1的关系;
ISR集合中的每个副本都会维护自身的LEO,而ISR集合中最小的LEO即为分区的HW,对消费者而言只能消费HW之前的消息。
举例说明:

4,Kafka的复制机制
Kafka 的复制机制既不是完全的同步复制(所有能工作的 follower都复制完),也不是单纯的异步复制(只要写入leaderr则成功提交)。Kafka使用的这种ISR机制有效地权衡了数据可靠性和性能的关系。

相关推荐
塞尔维亚大汉5 分钟前
OpenHarmony之分布式软总线json.payload.c(三)
分布式·嵌入式·harmonyos
FLGB2 小时前
Kafka延迟队列实现分级重试
分布式·kafka
java1234_小锋12 小时前
Kafka中的消息是如何存储的?
分布式·kafka
老友@12 小时前
Kafka 深度解析:高性能设计、部署模式、容灾机制与 KRaft 新模式
分布式·kafka·kraft·高性能·容灾机制
余子桃12 小时前
Kafka的安装与使用(windows下python使用等)
分布式·kafka
java1234_小锋13 小时前
Kafka中的消息如何分配给不同的消费者?
分布式·kafka
小样vvv13 小时前
【Kafka】深入探讨 Kafka 如何保证一致性
分布式·kafka
小样vvv13 小时前
【Kafka】消费者幂等性保障全解析
kafka
快来卷java17 小时前
深入剖析雪花算法:分布式ID生成的核心方案
java·数据库·redis·分布式·算法·缓存·dreamweaver
2401_8712905818 小时前
Hadoop 集群的常用命令
大数据·hadoop·分布式