kafka零拷贝sendfile及mmap简述

好大的月亮2024-08-12 13:17

概述

通常在选型比较消息中间件时，都会在备选栏有kafka；

kafka突出的特点就是高吞吐，零拷贝；

这里的零拷贝其实就是内核和用户空间之间没有copy，并不是真的0拷贝；

毕竟数据在磁盘，要读到网卡发送到网络上，至少得从磁盘copy到网卡吧；

说到零拷贝就要介绍下mmap和sendfile了；kafka用的sendfile，rocketmq用的mmap；

rocketmq需要获取发送后的回执数据,所以用了mmap

bash 复制代码

# sendfile函数返回的是传输的字节数
ssize_t sendfile(int out_fd, int in_fd, off_t *offset, size_t count);

# mmap成功返回指向目标内存区域的指针；失败，返回MAP_FAILED ((void*)-1)，并设置errno
void *mmap(void *addr, size_t length, int prot, int flags, int fd, off_t offset);

mmap 适合小数据量读写，sendFile 适合大文件传输。
mmap 需要 4 次上下文切换，3 次数据拷贝；sendFile 需要 3 次上下文切换，最少 2 次数据拷贝。
sendFile 可以利用 DMA 方式，减少 CPU 拷贝，mmap 则不能（必须从内核拷贝到 Socket 缓冲区）。

用户程序在操作系统中读取数据发送的过程

mmp映射优化后

mmap 通过内存映射，用户空间可以共享内核空间的数据。

这样，在进行网络传输时，减少了内核空间到用户空间的拷贝

sendfile优化后

linux2.1中内核buffer还会写到socket缓冲区，在linux2.4后直接就从内核copy到网络协议栈