Kafka为什么这么快?

kafka高效读写数据的原理

1)Kafka 本身是分布式集群,可以采用分区技术,并行度高

2)读数据采用稀疏索引,可以快速定位要消费的数据

  1. 按照二分法找到小于 offset 的 segment 的.log 和.index
  2. 用目标 offset 减去文件名中的 offset 得到消息在这个 segment 中的偏移量。
  3. 再次用二分法在 index 文件中找到对应的索引。
  4. 到 log 文件中,顺序查找,直到找到 offset 对应的消息。

3)顺序写磁盘

Kafka 的 producer 生产数据,要写入到 log 文件中,写的过程是一直追加到文件末端,为顺序写。官网有数据表明,同样的磁盘,顺序写能到 600M/s,而随机写只有 100K/s。这与磁盘的机械机构有关,顺序写之所以快,是因为其省去了大量磁头寻址的时间。

4)页缓存 + 零拷贝技术

零拷贝技术:减少用户态/内核态的切换次数以及CPU拷贝的次数

sendfilemmap 是零拷贝的两种不同实现,在 kafka 中也对应两种不同场景。针对 producer 往 broker 上写入消息,使用的是 mmap,consumer 从 broker 上拉取数据,使用的是 sendfile。

producer 往 broker 发消息:对应消息文件从网卡-->磁盘。这个文件在写入过程中是会动态"变化"的,假设使用 sendfile 的方式就是直接把文件从网卡 copy 到 socket buffer 之后,然后直接落到磁盘,中间是【不能有变更操作的】,这显然不符合写入的要求。

再说 consumer 从 broker 拉消息:对应消息文件从磁盘-->网卡。这个过程中使用的是 sendfile。这个过程中【对消息这个文件是不需要有任何变更操作的】,将文件从磁盘 copy 到 readBuffer 之后,直接发送到网卡了,这中间没有经过 socketBuffer。

看一遍就理解:零拷贝原理详解 - 知乎

5)批量传输与压缩消息

相关推荐
ZHOU_WUYI3 小时前
一个简单的分布式追踪系统
分布式
码不停蹄的玄黓7 小时前
MySQL分布式ID冲突详解:场景、原因与解决方案
数据库·分布式·mysql·id冲突
王小王-1238 小时前
基于Hadoop的公共自行车数据分布式存储和计算平台的设计与实现
大数据·hive·hadoop·分布式·hadoop公共自行车·共享单车大数据分析·hadoop共享单车
要开心吖ZSH10 小时前
《Spring 中上下文传递的那些事儿》Part 4:分布式链路追踪 —— Sleuth + Zipkin 实践
java·分布式·spring
幼稚园的山代王10 小时前
RabbitMQ 4.1.1初体验
分布式·rabbitmq·ruby
百锦再11 小时前
RabbitMQ用法的6种核心模式全面解析
分布式·rabbitmq·路由·消息·通道·交换机·代理
一路向北North11 小时前
RabbitMQ简单消息监听和确认
分布式·rabbitmq·ruby
真实的菜11 小时前
Kafka生态整合深度解析:构建现代化数据架构的核心枢纽
架构·kafka·linq
一路向北North18 小时前
使用reactor-rabbitmq库监听Rabbitmq
分布式·rabbitmq·ruby
Amy187021118231 天前
赋能低压分布式光伏“四可”建设,筑牢电网安全新防线
分布式