Kafka日志

位置

server.properties配置文件中通过log.dir指定日志存储目录

log.dir/{topic}-{partition}

核心文件

.log

存储消息的日志文件,固定大小为1G,写满后会新增一个文件,文件名表示当前日志文件记录的第一条消息的偏移量。

.index

以偏移量为索引来记录对应的.log日志文件中的消息偏移量

.timeindex

以时间戳为索引来记录对应的.log日志文件中的消息偏移量

partition.metadata

记录当前Partition所属的cluster和Topic

leader-epoch-checkpoint

和epoch机制相关

index和timeindex加速读取log消息日志

index和timeindex都是以相对偏移量的方式建立log消息日志的数据索引。比如 0000.index和0550.index中记录的索引数字,都是从0开始的。表示相对日志文件起点的消息偏移量。而绝对的消息偏移量可以通过日志文件名 + 相对偏移量得到。

这两个索引并不是对每一条消息都建立索引。而是Broker每写入40KB的数据,就建立一条index索

引。

Kafka的消费者通过这两个索引能够指定从某一个offset或者某一个时间点读取消息。

相关推荐
苦学编程的谢2 分钟前
Spring AOP_2
java·后端·spring·java-ee
没有bug.的程序员10 分钟前
《Spring Boot应用工程化提升:多模块、脚手架与DevTools》
java·运维·spring boot
Derek_Smart37 分钟前
工业级TCP客户端高可靠连接架构设计与Netty优化实践
java·性能优化·netty
长安城没有风42 分钟前
从 0 到 1 认识 Spring MVC:核心思想与基本用法(上)
java·spring boot·spring·java-ee·mvc
许野平1 小时前
Rust 同步方式访问 REST API 的完整指南
java·网络·rust·restful
设计师小聂!1 小时前
力扣热题100--------240.搜索二维矩阵
java·算法·leetcode·矩阵
狒狒的代码王国1 小时前
正则表达式
java
aningxiaoxixi1 小时前
安卓audio 架构解析
java·架构·ffmpeg
都叫我大帅哥2 小时前
Java OpenFeign:微服务通信的“魔法契约书”
java·spring boot·spring cloud
Full Stack Developme3 小时前
Java 日期时间处理:分类、用途与性能分析
java·开发语言·数据库