【学习笔记】kafka权威指南——第1章 初识kafka

第1章 初识kafka

1.1 发布于订阅消息系统

1.1.1 如何开始

多个生产者与多个消费者直接通信,导致结构复杂与混乱。于是多个生产者与多个消费者开始通过消息中间件通信。

1.1.2 独立的队列系统

但是多个场景又使用了独立的队列。导致有多个队列且功能相同,但相互独立。

1.2 kafka登场

1.2.1 消息和批次

1>消息就是一条元数据,kafka传递的便是消息

2>批次是一次传输多条消息,因为一条一条传输会有大量的网络开销,批次数据会被压缩。

1.2.2 模式

消息存储的格式,略。

1.2.3 主题(topic)和分区(partition)

1>主题topic:属于同一类消息

2>分区:一个topic有多个分区,每个分区的消息是有顺序的,但是因为topic有多个分区,所以topic的消息不保证有序。

1.2.4 生产者和消费者

1>生产者:生产者将消息写入topic,并均衡的写入不同分区,但也可以根据键来写入指定的分区

2>消费者:消息在分区中有唯一的偏移量,消费者将分区最后的偏移量记录在zookeeper或kafka上,一个消费组不会重复消费topic上的消息,一个分区只能被消费组中的一个消费者消费,即消费者拥有partition

1.2.5 broker和集群

1>独立的kafka服务器称为broker。单个broker可以轻松处理数千个分区以及每秒百万级。

2>每个集群有broker为集群控制器,一个分区可以分配给多个broker,这时会复制分区。

3>broker会为消费者返回已存在磁盘上的消息。

4>保留消息:消息保留一定时间或一定字节数,也可以通过配置将带有特定键的消息保留。

1.2.6 多集群

MirrorMaker用于集群之间的通信

1.3 为什么选择kafka

1.3.1 多个生产者

1.3.2 多个消费者

存在消费组概念,消费组内不可重复消费,消费组之间相互独立

1.3.3 基于磁盘的数据存储

Topic根据保留规则进行保存

1.3.4 伸缩性

可以从一个broker扩展至上百个。但需要高容错,高可用,需配置较高的复制系数。

1.3.5 高性能

多生产者+多消费者+伸缩性+给予磁盘的数据存储

1.4 数据生态系统

使用场景:

1>活动跟踪:前端用户行为传递

2>传递消息

3>度量指标和日志记录

4>提交日志,如数据库更新日志,为故障恢复提供缓冲

5>流处理:(11章)

1.5 起源故事

略

相关推荐
柳鲲鹏13 小时前
内斗学概论:43、平级内斗
笔记
星恒随风15 小时前
MySQL 从零入门(四):表的增删改查与基础查询详解
linux·服务器·数据库·笔记·mysql
li星野16 小时前
相位补偿学习记录:把被颅骨“打乱“的声波重新对齐
学习
Z21-X16 小时前
云原生运维学习笔记:ECShop全链路容器化部署与Docker底层资源隔离深度剖析
运维·笔记·学习·云原生
red_redemption17 小时前
自由学习记录(230)
学习
qq_4523962320 小时前
第二篇:《CommitLog + ConsumeQueue:一条日志解决 Kafka 多分区随机写的难题》
分布式·kafka
晓梦林21 小时前
BUUCTF-菜刀流量-MISC-学习笔记
笔记·学习
Godspeed Zhao1 天前
从零开始学AI25——无监督学习之层次聚类
学习·机器学习·聚类
David猪大卫2 天前
【C++修炼】map 和 set 的使用
c语言·开发语言·数据结构·c++·经验分享·笔记·学习
HPtiger2 天前
C++ 入门笔记:从 C 到 C++ 的核心过渡(命名空间、输入输出、缺省参数、重载、引用、内联)
c语言·c++·学习