Kafka 零拷贝总结

今天看了些视频 感觉kafka 零拷贝和之前自己理解的有些出入

所以来总结一下

先说如果没有零拷贝 数据是怎么从磁盘发送到网卡的?

操作系统分内核态与用户态,从磁盘io读取数据这个操作要通过系统调用 从用户态切换到内核态进行,

所以

1.read()命令 发起系统调用 DMA把数据从磁盘拷贝到内核态的内核缓冲区 然后cpu把数据从内核态拷贝到用户态

2.write()命令 cpu把数据从用户态拷贝到内核态的socket缓冲区,然后用dma发送给网卡

这个过程中 一共发生两次系统调用 四次拷贝

kafka的零拷贝有mmap 和 sendfile两种方式

**mmap:**相当于把内核空间的缓冲区映射到用户空间 拷贝的只是这种映射关系,并不真的拷贝数据

使用mmap获取映射,再用send 发送数据(从内核缓冲区到socket缓冲区)

整个过程发送 两次系统调用和两次拷贝 只发生一次cpu拷贝

sendfile 真正的零拷贝,只有一次系统调用 共用一个内核缓冲区,减少了内核缓冲区到socket缓冲区的拷贝,整个过程只有一次系统调用和一次拷贝 且完全消除cpu拷贝(若是此时数据在pagecache里 甚至可以再减少一次磁盘DMA拷贝的过程)

是最快的方式

那为什么rabbitmq不也使用sendfile的拷贝方式 而是选择了mmap呢?

rabbitmq 有一些功能如死信队列的投递要用到时间发送的内容

而sendfile只会返回成功发送的字节数 所以rmq只能用mmap

相关推荐
此时不提桶,更待何时9 小时前
06-23-A-RabbitMQ生态集成详解
分布式·rabbitmq
m0_6464299714 小时前
RabbitMQ 核心知识总结(生产实战版)
分布式·rabbitmq
DBA_G16 小时前
GBase 8c分布式数据库客户端工具 gsql
数据库·分布式
chunyublog16 小时前
Spark 词频统计练习
大数据·分布式·spark
ClouGence17 小时前
开源数据库管理工具 CloudDM 4.4.0 发布,新增 Kafka、SAP HANA 数据源
数据库·kafka
acrel717 小时前
高速公路分布式光伏并网电能质量与安全保护方案应用
分布式·安全
RobinXYuan17 小时前
【Kafka 源码手记】01 从消息队列到 Event Streaming
kafka·源码阅读
IT小小猪19 小时前
# Hadoop 3.3.6 完全分布式集群部署知识库
hadoop·分布式·eclipse
此时不提桶,更待何时19 小时前
06-24-B-RabbitMQ面试与生产事故实战
分布式·面试·rabbitmq
来福猿20 小时前
分布式锁 Redis 实现源码分析:SETNX、过期时间与可重入设计
数据库·redis·分布式