kafka入门(六):日志分段(LogSegment)

日志分段(LogSegment)

Kafka的一个 主题可以分为多个分区。

一个分区可以有一至多个副本,每个副本对应一个日志文件。

每个日志文件对应一个至多个日志分段(LogSegment)。

每个日志分段还可以细分为索引文件、日志存储文件和快照文件。

每个 LogSegment 对应于磁盘上的一个日志文件和两个索引文件,以及其他可能的文件(比如以 .txnindex 为后缀的事务索引文件)。索引文件包括:偏移量索引文件(以 .index 为文件后缀) 和 时间戳索引文件 (以 .timeindex 为文件后缀),

每个 LogSegment 都有一个 基准偏移量 baseOffset, 用来表示当前 LogSegment 中第一条消息的 offset, 用来表示当前 LogSegment 中第一条消息的 offset。

日志分段(LogSegment)的索引文件:

偏移量索引文件,用来建立消息偏移量( offset ) 到物理地址之间的映射关系,方便快速定位消息所在的物理文件位置 。

时间戳索引文件,则根据指定的时间戳 ( timestamp) 来查找对应的偏移量信息。

Kafka中 的索引文件以稀疏索引的方式构造消息的索引,它并不保证每个消息在索引文件中都有对应的索引项。

偏移量索引文件

偏移量索引项,每个索引项占用 8个字节,分为两个部分。

(1) relativeOffset: 相对偏移量,表示消息相对于 baseOffset 的偏移量,占用 4个字节。当前索引文件的文件名即为 baseOffset 的值。

(2) position: 物理地址,也就是消息在日志分段文件中对应的物理位置 ,占用 4个字节。

时间戳索引文件

时间戳索引项,每个索引项占用 12 个字段,分为两个部分。

(1) timestamp: 当前日志分段的最大时间戳。

(2) relativeOffset: 时间戳所对应的消息的相对偏移量。

时间戳索引文件中包含若干个时间戳索引项,每个追加的时间戳索引项中的 timestamp 必须大于之前追加的索引项的 timestamp。

资料来源

《深入理解Kafka:核心设计与实践原理》

相关推荐
Solis程序员18 小时前
解决双写不一致!Canal+Outbox+Kafka 高可靠事件驱动架构
redis·分布式·架构·kafka·canal
可乐ea21 小时前
【知识获取与分享社区项目 | 项目日记第 23 天】项目梳理下篇:高并发与最终一致性复盘:Redis、Kafka、Outbox、ES 与 RAG 如何协同
java·redis·mysql·elasticsearch·缓存·ai·kafka
我是一颗柠檬1 天前
【Java项目技术亮点】Outbox事件驱动模式:解决分布式事务的终极方案
java·开发语言·分布式·后端·中间件·kafka
JAVA面经实录9171 天前
RocketMQ全套学习知识手册
java·kafka·rabbitmq·rocketmq
Kyrie_Li2 天前
Kafka-安装和配置(搭建环境)
分布式·kafka
SilentSamsara2 天前
消息队列集成:Python + Kafka/RabbitMQ 生产实践
服务器·开发语言·分布式·python·kafka·rabbitmq
我是一颗柠檬2 天前
【Java项目技术亮点】多级缓存一致性方案:Canal+MQ实现数据库与缓存的最终一致
java·数据库·spring·缓存·kafka·rocketmq
Chasing__Dreams2 天前
Kafka--基础知识点--20--消费者平衡协议的增量式重平衡协议
分布式·kafka
IronMurphy2 天前
Kafka拷打!!!
分布式·kafka
JAVA面经实录9173 天前
MQ高频面试题标准答案(Java后端/架构面试背诵版)
java·面试·架构·kafka·rabbitmq