Kafka日志

位置

server.properties配置文件中通过log.dir指定日志存储目录

log.dir/{topic}-{partition}

核心文件

.log

存储消息的日志文件,固定大小为1G,写满后会新增一个文件,文件名表示当前日志文件记录的第一条消息的偏移量。

.index

以偏移量为索引来记录对应的.log日志文件中的消息偏移量

.timeindex

以时间戳为索引来记录对应的.log日志文件中的消息偏移量

partition.metadata

记录当前Partition所属的cluster和Topic

leader-epoch-checkpoint

和epoch机制相关

index和timeindex加速读取log消息日志

index和timeindex都是以相对偏移量的方式建立log消息日志的数据索引。比如 0000.index和0550.index中记录的索引数字,都是从0开始的。表示相对日志文件起点的消息偏移量。而绝对的消息偏移量可以通过日志文件名 + 相对偏移量得到。

这两个索引并不是对每一条消息都建立索引。而是Broker每写入40KB的数据,就建立一条index索

引。

Kafka的消费者通过这两个索引能够指定从某一个offset或者某一个时间点读取消息。

相关推荐
风象南2 分钟前
SpringBoot中6种跨域请求解决方案
java·spring boot·后端
vivo互联网技术4 分钟前
活动中台系统慢 SQL 治理实践
java·数据库·后端
是小李呀~14 分钟前
【工作梳理】怎么把f12里面的东西导入到postman
java
攀小黑14 分钟前
Java 多线程加锁 synchronized 关键字 字符串当做key
java·开发语言
余华余华28 分钟前
2024年蓝桥杯Java B组省赛真题超详解析-分布式队列
java·职场和发展·蓝桥杯
破罐子不摔31 分钟前
【C#使用S7.NET库读取和写入西门子PLC变量】
java·c#·.net
可爱的霸王龙42 分钟前
JVM——模型分析、回收机制
java·jvm
神秘的t43 分钟前
javaSE————网络原理
java·网络
hongweihao1 小时前
啥?有分布式锁都还能被突破
java·后端
BeerBear1 小时前
记一次Kill <Pid> Java进程无法退出的问题处理
java·后端·spring