Kafka3.0.0版本——文件存储机制

这里写木目录标题

    • [一、Topic 数据的存储机制](#一、Topic 数据的存储机制)
      • [1.1、Topic 数据的存储机制的概述](#1.1、Topic 数据的存储机制的概述)
      • [1.2、Topic 数据的存储机制的图解](#1.2、Topic 数据的存储机制的图解)
      • [1.3、Topic 数据的存储机制的文件解释](#1.3、Topic 数据的存储机制的文件解释)
    • 二、Topic数据的存储位置示例

一、Topic 数据的存储机制

1.1、Topic 数据的存储机制的概述

  • Topic是逻辑上的概念,而partition是物理上的概念。
  • 每个partition对应于一个log文件,该log文件中存储的就是Producer生产的数据。
  • Producer生产的数据会被不断追加到该log文件末端,为防止log文件过大导致数据定位效率低下,Kafka采取了 分片和 索引机制。将每个partition分为多个segment。
  • 每个segment包括:".index"文件、".log"文件和.timeindex等文件。这些文件位于一个文件夹下,该文件夹的命名规则为:topic名称+分区序号,例如:news-0。

1.2、Topic 数据的存储机制的图解

1.3、Topic 数据的存储机制的文件解释

  • Topic 数据的存储机制的文件解释

    文件格式 解释
    .log 日志文件
    .index 偏移量索引文件
    .timeindex 时间戳索引文件
    其他文件

二、Topic数据的存储位置示例

  • 启动生产者,并发送消息。

    java 复制代码
    bin/kafka-console-producer.sh  --bootstrap-server 192.168.136.27:9092 --topic threetopic
  • 查看四台服务器的/opt/module/kafka/datas/threetopic-0(threetopic-1、threetopic-2、threetopic-3)路径上的文件。

  • 通过工具查看 index和 log信息。

    java 复制代码
    kafka-run-class.sh kafka.tools.DumpLogSegments --files 00000000000000000000.log
相关推荐
用户3610588626122 天前
Kafka源码深度剖析:KafkaProducer最终如何处理响应
kafka
goehou3 天前
Kafka 的默认配置适合演示,不适合生产
kafka·消息队列·幂等·ai agent
ClouGence3 天前
开源数据库管理工具 CloudDM 发布新版本,支持 GreptimeDB 数据源
数据库·kafka
用户3610588626124 天前
KafkaProducer 源码深度剖析:筛选可以发送消息的 Broker
kafka
西木Qi4 天前
Kafka消息中间件单机版安装配置
分布式·kafka
飞奔的瓜牛5 天前
Kafka 生产实践指南:使用要点、性能优化与运维维护
中间件·性能优化·kafka
qq_4523962310 天前
第二篇:《CommitLog + ConsumeQueue:一条日志解决 Kafka 多分区随机写的难题》
分布式·kafka
我不会起名字32212 天前
消费回调固定 return nil:错误传播与 Kafka 位点提交的区别
后端·mongodb·kafka·go·im·故障排查
qq_4523962312 天前
第十篇:《Kafka 安全加固:SASL、SSL、ACL 与多租户隔离》
安全·kafka·ssl
用户36105886261213 天前
KafkaProducer 元数据管理:send() 卡住时,它在等什么
kafka