Kafka 零拷贝总结

今天看了些视频 感觉kafka 零拷贝和之前自己理解的有些出入

所以来总结一下

先说如果没有零拷贝 数据是怎么从磁盘发送到网卡的?

操作系统分内核态与用户态,从磁盘io读取数据这个操作要通过系统调用 从用户态切换到内核态进行,

所以

1.read()命令 发起系统调用 DMA把数据从磁盘拷贝到内核态的内核缓冲区 然后cpu把数据从内核态拷贝到用户态

2.write()命令 cpu把数据从用户态拷贝到内核态的socket缓冲区,然后用dma发送给网卡

这个过程中 一共发生两次系统调用 四次拷贝

kafka的零拷贝有mmap 和 sendfile两种方式

**mmap:**相当于把内核空间的缓冲区映射到用户空间 拷贝的只是这种映射关系,并不真的拷贝数据

使用mmap获取映射,再用send 发送数据(从内核缓冲区到socket缓冲区)

整个过程发送 两次系统调用和两次拷贝 只发生一次cpu拷贝

sendfile 真正的零拷贝,只有一次系统调用 共用一个内核缓冲区,减少了内核缓冲区到socket缓冲区的拷贝,整个过程只有一次系统调用和一次拷贝 且完全消除cpu拷贝(若是此时数据在pagecache里 甚至可以再减少一次磁盘DMA拷贝的过程)

是最快的方式

那为什么rabbitmq不也使用sendfile的拷贝方式 而是选择了mmap呢?

rabbitmq 有一些功能如死信队列的投递要用到时间发送的内容

而sendfile只会返回成功发送的字节数 所以rmq只能用mmap

相关推荐
小小的木头人2 小时前
Windows Docker desktop 部署
运维·kafka
一晌小贪欢7 小时前
Python爬虫第10课:分布式爬虫架构与Scrapy-Redis
分布式·爬虫·python·网络爬虫·python爬虫·python3
摇滚侠10 小时前
Spring Boot3零基础教程,监听 Kafka 消息,笔记78
spring boot·笔记·kafka
摇滚侠13 小时前
Spring Boot3零基础教程,Kafka 小结,笔记79
spring boot·笔记·kafka
沐浴露z15 小时前
一篇文章详解Kafka Broker
java·分布式·kafka
pythonpioneer16 小时前
Ray Tune 强大的分布式超参数调优框架
分布式·其他
笨蛋少年派17 小时前
Hadoop High Availability 简介
大数据·hadoop·分布式
一只小透明啊啊啊啊18 小时前
Java电商项目中的概念: 高并发、分布式、高可用、微服务、海量数据处理
java·分布式·微服务
兜兜风d'1 天前
RabbitMQ 七种工作模式全解析
分布式·rabbitmq
ErizJ1 天前
IM|im-service
golang·kafka·go·im·心跳检测