Kafka 基本概念和术语

1、消息

Record:Kafka 是消息引擎嘛,这里的消息就是指 Kafka 处理的主要对象。

2、主题

Topic:主题是承载消息的逻辑容器,在实际使用中多用来区分具体的业务。在Kafka 中发布订阅的对象是 Topic。

3、分区

Partition:一个有序不变的消息序列。每个主题下可以有多个分区。业务上要保证顺序性,将消息都写到一个分区,由单个消费线程消费即可实现顺序消费。多个分区无法保证消息的全局顺序性

4、消息位移

Offset:表示分区中每条消息的位置信息,是一个单调递增且不变的值。kafka 底层是追加写,所以效率高,所以单调递增,一旦写到磁盘上后,消息的位置就是固定的了

5、副本

Replica:Kafka 中同一条消息能够被拷贝到多个地方以提供数据冗余,这些地方就是所谓的副本。

副本还分为领导者副本和追随者副本。领导者副本对外提供服务,生产者向领导者副本写消息,消费者从领导者副本读消息;追随者副本只是向领导者副本发起请求同步最新的消息。

为啥是追随者副本向领导者副本发起请求而不是领导者副本向追随者推送消息?Kafka 不是 PUSH 模型而是 PULL 模型。

副本是在分区层级下的,即每个分区可配置多个副本实现高可用

6、生产者

Producer:向主题发布新消息的应用程序,可以向一个或者多个主题发送消息。

7、消费者

Consumer:从主题订阅新消息的应用程序,可以同时订阅多个主题的消息。 一个主题可以让若干个 consumer 消费,若干个 consumer 组成一个 consumer group ,一条消息只能被 consumer group 中一个 consumer 消费,若干个 partition 被若干个 consumer 同时消费,达到消费者高吞吐量

8、消费者位移

Consumer Offset:表征消费者消费进度,每个消费者都有自己的消费者位移。正常都是顺序消费一遍的,当然也可以重置消费者位移来达到业务目的。

9、消费者组

Consumer Group:多个消费者实例共同组成的一个组,同时消费多个分区以实现高吞吐。

10、重平衡

Rebalance。消费者组内某个消费者实例挂掉后,其他消费者实例自动重新分配订阅主题分区的过程。Rebalance 是 Kafka 消费者端实现高可用的重要手段。

11、broker

服务代理节点,Kafka 服务实例。 N 个组成一个 Kafka 集群,通常一台机器部署一个 Kafka 实例,一个实例挂了其他实例仍可以使用,体现了高可用。

为什么 Kafka 不像 MySQL 那样允许追随者副本对外提供读服务?

为什么kafka不支持主从分离? - 知乎

相关推荐
2501_941877981 天前
Python在微服务高并发异步日志聚合与智能告警分析架构中的实践
kafka
SuperHeroWu71 天前
【HarmonyOS 6】UIAbility跨设备连接详解(分布式软总线运用)
分布式·华为·harmonyos·鸿蒙·连接·分布式协同·跨设备链接
杜子不疼.1 天前
【探索实战】从0到1打造分布式云原生平台:Kurator全栈实践指南
分布式·云原生
最笨的羊羊1 天前
Flink CDC系列之:Kafka CSV 序列化器CsvSerializationSchema
kafka·csv·schema·flink cdc系列·serialization·序列化器
最笨的羊羊1 天前
Flink CDC系列之:Kafka的Debezium JSON 结构定义类DebeziumJsonStruct
kafka·debezium·flink cdc系列·debezium json·结构定义类·jsonstruct
m***l1151 天前
集成RabbitMQ+MQ常用操作
分布式·rabbitmq
拾忆,想起2 天前
Dubbo分组(Group)使用指南:实现服务接口的多版本管理与环境隔离
分布式·微服务·性能优化·架构·dubbo
回家路上绕了弯2 天前
彻底解决超卖问题:从单体到分布式的全场景技术方案
分布式·后端
拾忆,想起2 天前
Dubbo动态配置实时生效全攻略:零停机实现配置热更新
分布式·微服务·性能优化·架构·dubbo
每天进步一点_JL2 天前
事务与消息中间件:分布式系统中的可见性边界问题
分布式·后端