【大数据学习 | kafka高级部分】kafka的文件存储原理

在以上部分的讲解中我们知道了,kafka的使用场景就是在流式处理过程中,充当一个中间缓冲介质 的作用,主要功能是将数据先放入到kafka中计算框架会自己拉取要消费和计算的数据过来,采用poll的方式完全适配自身消费速率 。那么kafka的存储和hdfs的存储的区别非常清楚的就可以提现出来,hdfs更加适用于整体的存储和取出,kafka主要做的是流,数据都是按照条进行流转的,主打的是灵活和效率,那么效率提现在哪些方面上呢???

首先topic是按照分区进行划分的 ,因为多个分区可以将存储的数据放入到不同的机器节点上 ,这样起到负载均衡的作用,所以每个broker机器节点上面存储的数据都是多个topic的不同的分区的数据,这样分布式处理可以增加kafka的计算和处理能力

所以broker上面会管理很多topic的不同partition的数据,存储的结构就是以topic-partition方式进行命名的文件夹存储数据 ,但是随着数据的增加,单个分区的数据也会随之增多,这样管理和检索都在一个文件中也是非常低效率的,解决办法就是单个分区的数据也会切段进行存储,每个段称之为segment。

每一个段称之为一个segement。

在官网中形容的是单个日志文件的最大值,默认是1G。

这样不管找寻什么样的数据都会直接找寻相应的segment段落就行了,不管数据多大,其检索范围也不会超过1G。

但是一个G的文件检索还是比较大的,所以kafka在存储数据的时候,首先存储数据在内存中 ,然后将数据刷写到磁盘上 ,这个刷写的大小 是以4K为主的。

在这个插入过程 中会追加的形式 存储到log文件中 ,并且在index和timeindex中存在稀疏的索引数据。

这个时候查询的时候就可以直接去根据文件条数命名的对应segment中查询数据。能够轻易的跳过1G的部分

在具体查询数据的时候可以根据index去log中查询数据,速度更快,效率更高

检索过程为先跳过整体segment部分,然后在segment部分找到index,根据index找到相对应偏移量位置,然后找寻log日志中的数据

以如此方式进行数据检索,这样的存储格式让检索效果更佳明显

以上只是kafka的存储方式之一,主要是为了让数据存储更加方便管理和检索

相关推荐
inxunoffice3 小时前
按规则批量修改 txt/html/json/xml/csv/记事本等文本文件内容
xml·json
TDengine (老段)3 小时前
TDengine 中的视图
数据库·物联网·oracle·时序数据库·tdengine·iotdb
惊醒幡然15 小时前
消息队列之-Kafka
分布式·kafka
计算机毕设定制辅导-无忧学长5 小时前
TDengine 权限管理与安全配置实战(二)
大数据·安全·tdengine
2401_897930065 小时前
Kibana 连接 Elasticsearch(8.11.3)教程
大数据·elasticsearch·jenkins
计算机毕设定制辅导-无忧学长5 小时前
TDengine 快速上手:安装部署与基础 SQL 实践(一)
大数据·sql·tdengine
塔能物联运维6 小时前
塔能科技:精准节能,擎动工厂可持续发展巨轮
大数据·运维
今天我又学废了6 小时前
Spark,HDFS概述
大数据·hdfs·spark
青云交7 小时前
Java 大视界 -- 基于 Java 的大数据机器学习模型在图像识别中的迁移学习与模型优化(173)
大数据·迁移学习·图像识别·模型优化·deeplearning4j·机器学习模型·java 大数据
Yan-英杰8 小时前
DeepSeek-R1模型现已登录亚马逊云科技
java·大数据·人工智能·科技·机器学习·云计算·deepseek