1-【源码剖析】kafka核心概念

从今天开始开始在csdn上记录学习的笔记,主要包括以下几个方面:

  • kafka
  • flink
  • doris

本系列笔记主要记录Kafka学习相关的内容。在进行kafka源码学习之前,先介绍一下Kafka的核心概念。

消息

消息是kafka中最基本的数据单元,由key和value组成,都是字节数组。key主要来实现路由功能,value是真正的有效负载。

topic&分区&Log

topic是用于存储消息的逻辑概念,是一个消息集合。

每个topic可以划分为多个分区,每个分区内的数据是不重叠的,每个消息在添加到分区时,都会分配一个编号offset,来保证消息在分区内的顺序。

分区在逻辑上对应着一个Log,当生产者将消息写入分区时,实际上是写入到了分区对应的Log中。Log是一个逻辑概念,可以对应磁盘上的一个文件夹,Log由多个Segment组成,每个Segment对应一个日志文件和索引文件。

保留策略&日志压缩

发送到kafka的数据会被保存下来,但不会像数据库那样永久保存,为了避免数据库被占满,kafka有相应的保留策略,周期性删除陈旧消息。kafka中有两种保留策略:基于时间和topic大小的保留策略。

kafka会对存储的消息进行压缩,以减少磁盘占用。

broker

一个单独的kafka server就是一个broker。broker的主要工作就是接收生产者发过来的消息,同时接收消费者的请求,返回存储的数据。一般一个broker占一台物理机器。

副本

kafka对消息进行了冗余备份,每个分区可以有多个副本,每个副本消息是一样的。每个分区至少有一个副本,所有副本中选取一个当做Leader,其它副本从Leader处拉取消息。

一般情况下,同一分区的多个副本会分配到不同的broker上。一个topic包括多个分区,每个分区的数据是不一样的,可以实现水平扩展,当数据量变大时可以增大分区的数量;每个分区有多个副本,多副本情况下可丢失其中某个副本。

参考书籍《Apache Kafka源码剖析》

相关推荐
Java初学者小白10 分钟前
秋招Day19 - 分布式 - 分布式锁
java·分布式
ATaylorSu2 小时前
Kafka入门指南:从零开始掌握分布式消息队列
笔记·分布式·学习·kafka
不辉放弃13 小时前
kafka的shell操作
数据库·kafka·pyspark·大数据开发
久念祈14 小时前
C++ - 仿 RabbitMQ 实现消息队列--服务端核心模块实现(三)
数据库·分布式·rabbitmq
Themberfue15 小时前
Redis ①⑦-分布式锁
数据库·redis·分布式·adb·缓存
你我约定有三17 小时前
RabbitMQ--消费端单线程与多线程
java·开发语言·分布式·后端·rabbitmq
subuq18 小时前
分布式电商系统:缓存策略、负载均衡与容灾方案
分布式·缓存·负载均衡
你我约定有三19 小时前
RabbitMQ--消息顺序性
分布式·rabbitmq
码字的字节1 天前
Hadoop磁盘I/O瓶颈的监控与优化:从iostat指标到JBOD vs RAID的深度解析
大数据·hadoop·分布式·raid·iostat·磁盘i/o·jbod
潘yi.1 天前
zabbix企业级分布式监控
分布式·zabbix