kafka零拷贝sendfile及mmap简述

概述

通常在选型比较消息中间件时,都会在备选栏有kafka;

kafka突出的特点就是高吞吐,零拷贝;

这里的零拷贝其实就是内核和用户空间之间没有copy,并不是真的0拷贝;

毕竟数据在磁盘,要读到网卡发送到网络上,至少得从磁盘copy到网卡吧;

说到零拷贝就要介绍下mmapsendfile了;kafka用的sendfilerocketmq用的mmap

rocketmq需要获取发送后的回执数据,所以用了mmap

bash 复制代码
# sendfile函数返回的是传输的字节数
ssize_t sendfile(int out_fd, int in_fd, off_t *offset, size_t count);

# mmap成功返回指向目标内存区域的指针;失败,返回MAP_FAILED ((void*)-1),并设置errno
void *mmap(void *addr, size_t length, int prot, int flags, int fd, off_t offset);
  • mmap 适合小数据量读写,sendFile 适合大文件传输。
  • mmap 需要 4 次上下文切换,3 次数据拷贝;sendFile 需要 3 次上下文切换,最少 2 次数据拷贝。
  • sendFile 可以利用 DMA 方式,减少 CPU 拷贝,mmap 则不能(必须从内核拷贝到 Socket 缓冲区)。

用户程序在操作系统中读取数据发送的过程

mmp映射优化后

mmap 通过内存映射,用户空间可以共享内核空间的数据。

这样,在进行网络传输时,减少了内核空间到用户空间的拷贝

sendfile优化后

linux2.1中内核buffer还会写到socket缓冲区,在linux2.4后直接就从内核copy到网络协议栈

相关推荐
数据智能老司机1 小时前
CockroachDB权威指南——SQL调优
数据库·分布式·架构
数据智能老司机1 小时前
CockroachDB权威指南——应用设计与实现
数据库·分布式·架构
数据智能老司机1 小时前
CockroachDB权威指南——CockroachDB 模式设计
数据库·分布式·架构
数据智能老司机20 小时前
CockroachDB权威指南——CockroachDB SQL
数据库·分布式·架构
数据智能老司机21 小时前
CockroachDB权威指南——开始使用
数据库·分布式·架构
数据智能老司机21 小时前
CockroachDB权威指南——CockroachDB 架构
数据库·分布式·架构
IT成长日记21 小时前
【Kafka基础】Kafka工作原理解析
分布式·kafka
州周1 天前
kafka副本同步时HW和LEO
分布式·kafka
爱的叹息1 天前
主流数据库的存储引擎/存储机制的详细对比分析,涵盖关系型数据库、NoSQL数据库和分布式数据库
数据库·分布式·nosql
程序媛学姐1 天前
SpringKafka错误处理:重试机制与死信队列
java·开发语言·spring·kafka