浅谈高性能消息中间件kafka---kafka的基础结构

kafka是2010年由LinkedIn开发的,为了存储海量的日志数据。2011年LinkedIn将kafka开源,并捐献给apache基金会。

kafka名字的来源于作家卡夫卡。没错就是我们上学时《变形记》的那个作者的名字。kafka的原作者认为kafka就是一个针对"优化写入"的系统("a system optimized for writing")。并且他本人很喜欢作家卡夫卡的作品和名字,因此将这套系统命名为kafka。

kafka被人们熟知一个很重要的原因就是吞吐量高,速度快。

理想情况下,单节点的吞吐常常能到达每秒百万级。从生产者到消费者这样的端端的响应速度能达到5-10ms。

所以无论是单消息速度,还是高并发场景,kafka的速度都很快。

kafka的应用场景一般有三个点:

1,分布式日志系统

2,消息队列中间件

3,大数据流式系统的数据管道

我们先不谈kafka如何部署和使用,文本先聊下kafka的组成部分

kafka由三部分组成

1,生产者客户端

向kafka中提交数据的服务

2,消费者客户端

从kafka中拉取数据进行消费的服务

3,kafka服务

这部分可以理解为kakfa的核心组成,(防盗连接:本文首发自http://www.cnblogs.com/jilodream/ )我们通俗来说的kafka就是这部分。

kafka是一个分布式系统,它由若干的服务节点组成,我们称之为broker。每个broker是平等的,相当于是后端微服务的一个实例。

这些broker都是平等的,没有主从的概念。

生产者在向kafka(其实就是broker)提交数据时,将数据划分为不同类型,以区分不同的数据,比如订单数据,用户数据,等等。

我们将这些数据类型称之为topic。

但是broker有很多,某一个类型的消息到底应该存在哪个broker或者哪几个broker上呢?这一部分有分布式管理中间件zookeeper(后续版本kafka也自带了kraft组件替代zk)配合broker进行协调,将消息保存到broker的某一块具体存储上。kafka为了快,常常需要在多个broker上来读写数据,以降低某个broker因为io阻塞,导致整体写的速度下降。我们将这块存储空间称之为partition(分区),表示它是这个消息的一部分内容。

这个分区其实就是消息实际存储的位置。

而kafka为了防止消息丢失,对于每一个分区,常常保存多份(多个副本)。我们将分区分为两种 leader 和 follower,leader相当于主备中的主机,它负责正常的读写处理,follower相当于是主备中的备机,只用来备份数据的。

这些分区往往保存在不同的broker上,以保证某一个broker服务挂掉之后,还有其它的broker上有备份的数据。

当broker挂掉时,剩余broker会配合zk重新进行选举,将已经失去leader 的分区在follower中重新选一个出来。

这样生产者生产的数据就将数据散落到了不同的分区中,也就是不同的kafka节点中了。

注意,由于数据是保存在不同的分区中的,每个分区是一个有序队列,但是分区之间却又无序。所以kafka只能保证某个分区的数据有序的,跨分区的数据是无法保证有序的。

消费者在消费数据时,会从这些broker中拉取数据。不同的业务服务可能都要消费这条数据,为了保证他们之间不会重复消费或者遗漏消费,

我们需要对消费者划分不同的种类。我们将这种消费者的分类称之为消费者组。

每一条消息对于一个消费者组来说,正常情况下只能消费一次。(防盗连接:本文首发自http://www.cnblogs.com/jilodream/ )同时为了进一步加速消费的速度,消费者我们可以有多个,并行的从这些分区中拉取数据。为了保证消费顺序不会错乱,一个分区只能被消费者组中的某一个消费者长期消费拉取数据。

除非重新进行了一次调整,否则会一直保持下去。这个调整分区和消费者对应关系的动作。我们称之为rebalance。分区中保留着每个消费者组在当前分区中拉取的位置,也就是偏移量,下次这个消费者组的消费者重新来拉取时,就根据之前记录的偏移量继续拉取,以保证不会丢失数据。

这一套解读下来,不太熟悉的同学估计会云里雾里。没关系直接看图:

生产者:生产数据,并将数据推送到kafka中

broker:kafka的服务实例,一般情况下一台服务器部署一个broker实例

topic:消息的主题,可以理解为对消息进行分类

partition:分区,对某一个topic下的消息进一步拆分,分为若干的分区。

分区散步在不同的broker实例上,以通过增加分区来提升该topic的整体吞吐能力。

它是消息真正存储的地方

replica:分区副本集合,对某一个分区进一步进行主备划分,以增加容灾的能力。分为leader角色,和follower角色,leader是负责与外界交互的分区副本,follower是只作备份的分区副本。

对于某一个具体分区:leader(只有1个)+follower(零至多个)合称为一个副本集replication。

为了高可用,这些副本尽量分散在不同的主机上。(防盗连接:本文首发自http://www.cnblogs.com/jilodream/ )当leader所在的broker机器挂掉之后,剩余机器的follower通过选举,会选择一个副本作为新的leader。生产者生产的数据会优先写入到leader副本中,然后再从leader副本同步到各个follower副本中。

消费者组(逻辑概念):从分区中拉取数据的下游服务称之为消费者组。

消费者:消费者组的组成成员,实际从分区中拉取数据的下游服务。

同一个消费者组可以有多个消费者以提高消费的吞吐能力,保证快速消耗不同分区的数据。同时为了保证消息不被重复消费。

一个分区只能被消费者组的某一个消费者进行消费。

所以存在以下关系:

(1)同1个分区可以被多个消费者组进行消费

(2)同1个分区对于某一个消费者组来说,只能有一个组内消费者消费。不可被重复消费。

(3)同1个消费者可以同时消费某一个topic下的多个分区的消息。