Kafka -基本概念

认识Kafka

kafka是一个多分区、多副本、基于zookeeper协调的分布式消息系统。

扮演角色

  • 消息系统
  • 存储系统:把消息持久化到磁盘,相比于其他基于内存存储的系统而言,有效降低了数据丢失的风险。
  • 流式处理平台

基本概念

kafka的体系结构:

Producer : 负责创建消息,然后将其投递到Kafka中
Consumer : 连接Kafka上并接收消息,进行相应的业务逻辑处理。
Broker : 服务代理节点,负责将收到的消息存储到磁盘中。一个Broker可以看做一个独立的Kafka服务节点。一个或者多个Broker组成了一个Kafka集群。
ZooKeeper: 用来负责Kafka集群元数据管理、控制器管理等操作。
主题: Kafka中的消息以主题作为单位进行归类,生产者将消息发送到特定的主题,消费者负责订阅主题进行消费。

特点

多分区

主题是一个逻辑上 的概念,可以细分为多个分区,一个分区只属于单个主题

同一主题下的不同分区包含的消息是不同的,分区在存储层面可以看成一个可追加写的日志文件

消息在被追加到日志文件都会带上一个offset标记,因此同一分区上的消息是有序的,但不同分区的消息不能保证顺序
分区可以分布在不同的Broker上,因此一个主题可以横跨多个Broker,以此来提供比单个broker更强大的能力。(如果是单个Broker,容易受到所在机器I/O的性能限制)

多副本

概念

Kafka为分区引入了多副本机制,同一分区的不同副本中保存的相同的消息 。(某一时刻可能消息不完全一致)

副本之间是"一主多从"的关系,其中leader副本负责处理读写请求,follower副本只负责与leader副本的消息同步。

好处:多副本机制实现了故障的自动转移,当Kafka集群中某个broker失效时候,仍保证服务可用。

副本集合分类

AR(Assigned Replicas): 所有的副本

ISR(In-Sync Replicas): 与leader副本保持一定程度同步的副本,包括leader在内

OSR(Out-of-Sync Replicas): 与leader副本同步之后过多的副本

AR = ISR + OSR

上面说的一定程度是指可忍受的范围内,该范围参数可以人工调节

leader副本负责维护和跟踪ISR集合中所有follower副本的滞后顺序,当follower副本落后太多或者失效时候,leader副本将其从ISR集合中剔除。

如果OSR集合中有follower副本追上了leader副本,则leader副本会把它从OSR集合中转移到ISR集合中。

Kafka分区副本的复制机制

HW:high watermark 高水位,标识了一个特定的offset,消费者只能消费HW之前的消息。

LEO:Log end offfset,标识当前日志文件中下一条待写入消息的offset

ISR集合中每个副本都会维护自身的LEO,ISR集合中最小的LEO即为分区的HW,即消费者只能消费该HW之前的消息。

复制图例:

  1. 消息3、4从生产者发出后,会先写入到leader副本
  2. follower副本开始同步leader副本
  3. follower同步较快,HW等于follower1与follower2的最小值,此时消费者只能消费到offset为4之前的消息
  4. 所有节点都复制好了,HW重新更新

这种复制方式的好处:

  • Kafka副本的复制机制,既不是完全的同步复制,又不是单纯的异步复制
  • 若为同步复制,需要等所有的follower都复制完,才认为这条消息是已成功提交的,这种方式会极大影响性能。
  • 若为异步复制,数据只要被leader副本写入就认为成功提交(没等follwer副本复制完全),这时候如果leader副本宕机,则会造成数据丢失。
  • Kafka这种复制方式均衡了数据可靠性和性能之间的关系。
相关推荐
Aomnitrix19 小时前
知识管理新范式——cpolar+Wiki.js打造企业级分布式知识库
开发语言·javascript·分布式
程序消消乐19 小时前
Kafka 入门指南:从 0 到 1 构建你的 Kafka 知识基础入门体系
分布式·kafka
智能化咨询19 小时前
Kafka架构:构建高吞吐量分布式消息系统的艺术——进阶优化与行业实践
分布式·架构·kafka
Chasing__Dreams19 小时前
kafka--基础知识点--5.2--最多一次、至少一次、精确一次
分布式·kafka
在未来等你1 天前
Elasticsearch面试精讲 Day 17:查询性能调优实践
大数据·分布式·elasticsearch·搜索引擎·面试
大数据CLUB1 天前
基于spark的澳洲光伏发电站选址预测
大数据·hadoop·分布式·数据分析·spark·数据开发
ajax_beijing1 天前
zookeeper是啥
分布式·zookeeper·云原生
RestCloud1 天前
Kafka实时数据管道:ETL在流式处理中的应用
数据库·kafka·api
AAA修煤气灶刘哥1 天前
Kafka 入门不踩坑!从概念到搭环境,后端 er 看完就能用
大数据·后端·kafka