kafka logs storage

Kafka 会将日志文件按段(Segment)存储。

Segment是Kafka的最小存储单元,它是一个可追加的文件,用于存储Kafka分区中的一部分消息。

在文件系统中,Partition 是目录名,而Segment 是文件名。

Segment可以通过下面的配置来控制滚动和清理。

bash 复制代码
log.segment.bytes=1073741824      # 每个 segment 最大 1GB
log.segment.ms=604800000          # 每 7 天切一个新 segment
log.retention.hours=168           # 168 小时后旧段可被删除
cleanup.policy=delete             # 设置删除策略

📁 Segment 文件组成

Kafka 会为每个 segment 创建一组文件,位于某个partition的目录下,例如:

bash 复制代码
bash-4.4$ ls -lh /opt/kafka/data/logs/my-topic-0
total 216K
-rw-r--r-- 1 202390 10000  10M May  8 06:29 00000000000000000000.index
-rw-r--r-- 1 202390 10000 196K May  8 06:30 00000000000000000000.log
-rw-r--r-- 1 202390 10000  10M May  8 06:29 00000000000000000000.timeindex
-rw-r--r-- 1 202390 10000    8 May  8 02:54 leader-epoch-checkpoint
-rw-r--r-- 1 202390 10000   43 May  8 02:54 partition.metadata
文件类型 后缀 说明
.log 主数据文件,存储消息本体(key/value)
.index 根据 offset 建立的稀疏索引,便于定位
.timeindex 根据时间戳的索引,用于基于时间的查找
.snapshot (事务日志)支持事务性读写
leader-epoch-checkpoint 用于记录 leader 任期信息(确保 ISR 一致性)

这些文件中的 00000000000000000000 表示这个 segment 的起始 offset

一个partition 可以有多组segments.


🧱 Kafka 中 segment 的作用

功能 说明
分割日志文件 防止一个 partition 文件无限增长
支持时间/大小滚动 可配置最大时间或大小
清理目标单位 Kafka 的数据清理(删除或压缩)以 segment 为单位
快速查找消息 每个 segment 有对应的 .index.timeindex 文件
降低内存压力 分段可以控制内存索引的加载大小

🔧 Segment 的滚动(roll over)

Kafka 会根据如下条件创建新的 segment:

条件 对应配置项
达到最大字节数 segment.bytes(默认 1GB)
达到最大时间 segment.ms(默认 7 天)
手动 flush/滚动 API 控制或管理工具操作

一旦新 segment 被创建,旧的 segment 就变成"sealed",不能再写入,只能读取、压缩或删除。


🗑️ Segment 与数据清理策略

Kafka 的两种主要数据清理策略都以 segment 为操作单位:

清理策略 说明
delete Kafka 会定期删除超过保留时间/大小的旧 segment。
compact Kafka 会对旧 segment 进行压缩,保留每个 key 的最新 value。

⚠️ 当前写入的 segment(active segment)不会被清理或压缩,只有旧的 segment 会成为目标。


🧠 示例图解(假设 segment 每 100 条消息切换)

text 复制代码
Partition: my-topic-0
 ┌────────────┬────────────┬────────────┬────────────┐
 │ Segment A  │ Segment B  │ Segment C  │  Active    │
 │ (offset 0) │ (100)      │ (200)      │ (300~now)  │
 └────────────┴────────────┴────────────┴────────────┘
  • Segment A/B/Csealed,可被清理。
  • 最后一个 segment 是 active segment,不断追加写入,不会被清理。

✅ 总结:Segment 是 Kafka 存储的基本块

特性 说明
顺序追加 高效写入磁盘
可被删除或压缩 支持灵活的数据生命周期管理
可快速索引查找 借助 .index.timeindex 实现高效定位
有助于持久性和故障恢复 数据持久化到磁盘,可随时恢复

Reference

kafka 日志文件segment

相关推荐
Lansonli11 小时前
大数据Spark(六十五):Transformation转换算子groupByKey和filter
大数据·分布式·spark
拾忆,想起11 小时前
RabbitMQ死信交换机:消息的“流放之地“
开发语言·网络·分布式·后端·性能优化·rabbitmq
沐浴露z12 小时前
一篇文章入门RabbitMQ:基本概念与Java使用
java·分布式·rabbitmq
失散1312 小时前
分布式专题——24 Kafka功能扩展
java·分布式·云原生·架构·kafka
从零开始学习人工智能13 小时前
分布式 WebSocket 架构设计与实现:跨节点实时通信解决方案
分布式·websocket·网络协议
qyt198852013 小时前
Python脚本(Kafka生产者+消费者)
分布式·kafka
RunningShare16 小时前
大数据消息中间件选型终极指南:深度解析Kafka、Pulsar、RocketMQ架构与性能
大数据·kafka·rocketmq·pulsar
caibixyy1 天前
Spring Boot 整合 Redisson 实现分布式锁:实战指南
spring boot·分布式·后端
caibixyy1 天前
Spring Boot 集成 Kafka 详解
spring boot·kafka
求你不要出Bug了1 天前
RokcetMQ事务消息详解
分布式·rocketmq·事务消息