【学习笔记】kafka权威指南——第1章 初识kafka

第1章 初识kafka

1.1 发布于订阅消息系统

1.1.1 如何开始

多个生产者与多个消费者直接通信,导致结构复杂与混乱。于是多个生产者与多个消费者开始通过消息中间件通信。

1.1.2 独立的队列系统

但是多个场景又使用了独立的队列。导致有多个队列且功能相同,但相互独立。

1.2 kafka登场

1.2.1 消息和批次

1>消息就是一条元数据,kafka传递的便是消息

2>批次是一次传输多条消息,因为一条一条传输会有大量的网络开销,批次数据会被压缩。

1.2.2 模式

消息存储的格式,略。

1.2.3 主题(topic)和分区(partition)

1>主题topic:属于同一类消息

2>分区:一个topic有多个分区,每个分区的消息是有顺序的,但是因为topic有多个分区,所以topic的消息不保证有序。

1.2.4 生产者和消费者

1>生产者:生产者将消息写入topic,并均衡的写入不同分区,但也可以根据键来写入指定的分区

2>消费者:消息在分区中有唯一的偏移量,消费者将分区最后的偏移量记录在zookeeper或kafka上,一个消费组不会重复消费topic上的消息,一个分区只能被消费组中的一个消费者消费,即消费者拥有partition

1.2.5 broker和集群

1>独立的kafka服务器称为broker。单个broker可以轻松处理数千个分区以及每秒百万级。

2>每个集群有broker为集群控制器,一个分区可以分配给多个broker,这时会复制分区。

3>broker会为消费者返回已存在磁盘上的消息。

4>保留消息:消息保留一定时间或一定字节数,也可以通过配置将带有特定键的消息保留。

1.2.6 多集群

MirrorMaker用于集群之间的通信

1.3 为什么选择kafka

1.3.1 多个生产者

1.3.2 多个消费者

存在消费组概念,消费组内不可重复消费,消费组之间相互独立

1.3.3 基于磁盘的数据存储

Topic根据保留规则进行保存

1.3.4 伸缩性

可以从一个broker扩展至上百个。但需要高容错,高可用,需配置较高的复制系数。

1.3.5 高性能

多生产者+多消费者+伸缩性+给予磁盘的数据存储

1.4 数据生态系统

使用场景:

1>活动跟踪:前端用户行为传递

2>传递消息

3>度量指标和日志记录

4>提交日志,如数据库更新日志,为故障恢复提供缓冲

5>流处理:(11章)

1.5 起源故事

相关推荐
正经人_x2 小时前
学习日记20:GraphGPT
学习
v_for_van2 小时前
STM32简单的串口Bootloader入门
笔记·stm32·单片机·嵌入式硬件·物联网·学习
东木君_2 小时前
RK3588:MIPI底层驱动学习——入门第四篇(驱动精华:OV13855驱动加载时究竟发生了什么?)
单片机·嵌入式硬件·学习
Gary Studio3 小时前
第三类笔记
笔记·算法
悠哉悠哉愿意3 小时前
【ROS2学习笔记】分布式通信
笔记·学习·ros2
virtual_k1smet3 小时前
#rsa.md
笔记·python
丰锋ff4 小时前
2022 年真题配套词汇单词笔记(考研真相)
笔记
丰锋ff4 小时前
2010 年真题配套词汇单词笔记(考研真相)
笔记·学习·考研
驱动探索者4 小时前
linux 学习平台 arm+x86 搭建
linux·arm开发·学习