第1章 初识kafka
1.1 发布于订阅消息系统
1.1.1 如何开始
多个生产者与多个消费者直接通信,导致结构复杂与混乱。于是多个生产者与多个消费者开始通过消息中间件通信。
1.1.2 独立的队列系统
但是多个场景又使用了独立的队列。导致有多个队列且功能相同,但相互独立。
1.2 kafka登场
1.2.1 消息和批次
1>消息就是一条元数据,kafka传递的便是消息
2>批次是一次传输多条消息,因为一条一条传输会有大量的网络开销,批次数据会被压缩。
1.2.2 模式
消息存储的格式,略。
1.2.3 主题(topic)和分区(partition)
1>主题topic:属于同一类消息
2>分区:一个topic有多个分区,每个分区的消息是有顺序的,但是因为topic有多个分区,所以topic的消息不保证有序。
1.2.4 生产者和消费者
1>生产者:生产者将消息写入topic,并均衡的写入不同分区,但也可以根据键来写入指定的分区
2>消费者:消息在分区中有唯一的偏移量,消费者将分区最后的偏移量记录在zookeeper或kafka上,一个消费组不会重复消费topic上的消息,一个分区只能被消费组中的一个消费者消费,即消费者拥有partition
1.2.5 broker和集群
1>独立的kafka服务器称为broker。单个broker可以轻松处理数千个分区以及每秒百万级。
2>每个集群有broker为集群控制器,一个分区可以分配给多个broker,这时会复制分区。
3>broker会为消费者返回已存在磁盘上的消息。
4>保留消息:消息保留一定时间或一定字节数,也可以通过配置将带有特定键的消息保留。
1.2.6 多集群
MirrorMaker用于集群之间的通信
1.3 为什么选择kafka
1.3.1 多个生产者
1.3.2 多个消费者
存在消费组概念,消费组内不可重复消费,消费组之间相互独立
1.3.3 基于磁盘的数据存储
Topic根据保留规则进行保存
1.3.4 伸缩性
可以从一个broker扩展至上百个。但需要高容错,高可用,需配置较高的复制系数。
1.3.5 高性能
多生产者+多消费者+伸缩性+给予磁盘的数据存储
1.4 数据生态系统
使用场景:
1>活动跟踪:前端用户行为传递
2>传递消息
3>度量指标和日志记录
4>提交日志,如数据库更新日志,为故障恢复提供缓冲
5>流处理:(11章)
1.5 起源故事
略