Kafka(一)基础介绍

一,Kafka集群


一个典型的 Kafka 体系架构包括若Producer、Broker、Consumer,以及一个ZooKeeper集群,如图所示。

  • ZooKeeper:Kafka负责集群元数据的管理、控制器的选举等操作的;
  • Producer:将消息发送到Broker;
  • Broker:服务代理节点,负责将收到的消息存储到磁盘中。Broker可以简单地看作一个独立的Kafka服务节点或Kafka服务实例,一个或多个Broker组成了一个Kafka集群。
  • Consumer:负责从Broker订阅并消费消息;

二, 主题(Topic)与分区(Partition)


  • 消息根据Topic归类,生产者将消息发送到特定的Topic,而消费者订阅Topic并进行消费。
  • 一个Topic可以有多个Partition,Partition是一个可追加的日志文件,消息在被追加到分区日志都会分配一个特定的偏移量(offset)。
  • Kafka通过offset来保证消息在分区内的顺序性,不过offset并不跨越分区,也就是说, Kafka保证的是分区有序而不是Topic有序。
  • 分区可以分布在不同的broker上,也就是说, 一个Topic可以横跨多个broker。
  • Consumer使用Pull模式从服务端拉取消息,并且 保存消费的offset,当消费者宕机后恢复时可以根据offset重新拉取,这样就不会造成消息丢失。

1,Replica机制
分区引入了多副本(Replica)机制,通过增加副本数量可以提升容灾能力。
副本一主多从,其中leader副本负责处理 读写请求( 生产者和消费者只与leader交互 ),follower副本只负责与leader副本的消息同步。
2, AR = ISR + OSR
AR:分区中的所有的副本
ISR:与leader保持一定程度(可配置)同步的副本(包括leader在内)
OSR:与leader同步滞后过多的副本
正常情况下,所有的 follower 副本都应该与 leader 副本保持一定程度的同步,即 AR=ISR,OSR集合为空。

  • leader负责维护和跟踪所有follower的滞后状态,并把follower在ISR和OSR中移动;
  • 默认下,当leader发生故障时,只有在ISR中的副本才有资格被选举为新的leader(可通过配置改变)

3,HW和LEO
这是两个特定的偏移量。
HW:High Watermark的缩写,俗称高水位。消费者只能拉取到这个HW之前的消息;
LEO:Log End Offset的缩写,标识下一条待写入消息的offset;

注意:这俩都有个+1的关系;
ISR集合中的每个副本都会维护自身的LEO,而ISR集合中最小的LEO即为分区的HW,对消费者而言只能消费HW之前的消息。
举例说明:

4,Kafka的复制机制
Kafka 的复制机制既不是完全的同步复制(所有能工作的 follower都复制完),也不是单纯的异步复制(只要写入leaderr则成功提交)。Kafka使用的这种ISR机制有效地权衡了数据可靠性和性能的关系。

相关推荐
材料苦逼不会梦到计算机白富美3 小时前
golang分布式缓存项目 Day 1
分布式·缓存·golang
想进大厂的小王3 小时前
项目架构介绍以及Spring cloud、redis、mq 等组件的基本认识
redis·分布式·后端·spring cloud·微服务·架构
Java 第一深情3 小时前
高性能分布式缓存Redis-数据管理与性能提升之道
redis·分布式·缓存
杨荧4 小时前
【JAVA毕业设计】基于Vue和SpringBoot的服装商城系统学科竞赛管理系统
java·开发语言·vue.js·spring boot·spring cloud·java-ee·kafka
ZHOU西口4 小时前
微服务实战系列之玩转Docker(十八)
分布式·docker·云原生·架构·数据安全·etcd·rbac
zmd-zk5 小时前
kafka+zookeeper的搭建
大数据·分布式·zookeeper·中间件·kafka
激流丶5 小时前
【Kafka 实战】如何解决Kafka Topic数量过多带来的性能问题?
java·大数据·kafka·topic
筱源源5 小时前
Kafka-linux环境部署
linux·kafka
Mephisto.java5 小时前
【大数据学习 | kafka高级部分】kafka中的选举机制
大数据·学习·kafka
Mephisto.java5 小时前
【大数据学习 | kafka高级部分】kafka的优化参数整理
大数据·sql·oracle·kafka·json·database