【大数据学习 | kafka高级部分】kafka的文件存储原理

在以上部分的讲解中我们知道了,kafka的使用场景就是在流式处理过程中,充当一个中间缓冲介质 的作用,主要功能是将数据先放入到kafka中计算框架会自己拉取要消费和计算的数据过来,采用poll的方式完全适配自身消费速率 。那么kafka的存储和hdfs的存储的区别非常清楚的就可以提现出来,hdfs更加适用于整体的存储和取出,kafka主要做的是流,数据都是按照条进行流转的,主打的是灵活和效率,那么效率提现在哪些方面上呢???

首先topic是按照分区进行划分的 ,因为多个分区可以将存储的数据放入到不同的机器节点上 ,这样起到负载均衡的作用,所以每个broker机器节点上面存储的数据都是多个topic的不同的分区的数据,这样分布式处理可以增加kafka的计算和处理能力

所以broker上面会管理很多topic的不同partition的数据,存储的结构就是以topic-partition方式进行命名的文件夹存储数据 ,但是随着数据的增加,单个分区的数据也会随之增多,这样管理和检索都在一个文件中也是非常低效率的,解决办法就是单个分区的数据也会切段进行存储,每个段称之为segment。

每一个段称之为一个segement。

在官网中形容的是单个日志文件的最大值,默认是1G。

这样不管找寻什么样的数据都会直接找寻相应的segment段落就行了,不管数据多大,其检索范围也不会超过1G。

但是一个G的文件检索还是比较大的,所以kafka在存储数据的时候,首先存储数据在内存中 ,然后将数据刷写到磁盘上 ,这个刷写的大小 是以4K为主的。

在这个插入过程 中会追加的形式 存储到log文件中 ,并且在index和timeindex中存在稀疏的索引数据。

这个时候查询的时候就可以直接去根据文件条数命名的对应segment中查询数据。能够轻易的跳过1G的部分

在具体查询数据的时候可以根据index去log中查询数据,速度更快,效率更高

检索过程为先跳过整体segment部分,然后在segment部分找到index,根据index找到相对应偏移量位置,然后找寻log日志中的数据

以如此方式进行数据检索,这样的存储格式让检索效果更佳明显

以上只是kafka的存储方式之一,主要是为了让数据存储更加方便管理和检索

相关推荐
什么芮.41 分钟前
Kafka和flume整合
spark·kafka·flume
Themberfue2 小时前
Redis ⑦-set | Zset
java·开发语言·数据库·redis·sql·缓存
weixin_549808366 小时前
以运营为核心的智能劳动力管理系统,破解连锁零售、制造业排班难题
大数据·人工智能·零售
TE-茶叶蛋7 小时前
秒杀压测计划 + Kafka 分区设计参考
分布式·kafka
春风不会绿大地7 小时前
IDEA编写flinkSQL(快速体验版本,--无需配置环境)
sql·flink
SunTecTec7 小时前
Flink Docker Application Mode 命令解析 - 修改命令以启用 Web UI
大数据·前端·docker·flink
喜欢猪猪8 小时前
系统架构师---基于规则的系统架构
大数据·elasticsearch·搜索引擎
2401_871290588 小时前
如何在idea中写spark程序
大数据·spark·intellij-idea
三块钱07949 小时前
【原创】从s3桶将对象导入ES建立索引,以便快速查找文件
大数据·elasticsearch·搜索引擎·s3
Mr.小怪9 小时前
【开源】开发了一个在终端里运行的轻量级Excel:可以查看、简单编辑、转JSON
json