kafka零拷贝sendfile及mmap简述

概述

通常在选型比较消息中间件时,都会在备选栏有kafka;

kafka突出的特点就是高吞吐,零拷贝;

这里的零拷贝其实就是内核和用户空间之间没有copy,并不是真的0拷贝;

毕竟数据在磁盘,要读到网卡发送到网络上,至少得从磁盘copy到网卡吧;

说到零拷贝就要介绍下mmapsendfile了;kafka用的sendfilerocketmq用的mmap

rocketmq需要获取发送后的回执数据,所以用了mmap

bash 复制代码
# sendfile函数返回的是传输的字节数
ssize_t sendfile(int out_fd, int in_fd, off_t *offset, size_t count);

# mmap成功返回指向目标内存区域的指针;失败,返回MAP_FAILED ((void*)-1),并设置errno
void *mmap(void *addr, size_t length, int prot, int flags, int fd, off_t offset);
  • mmap 适合小数据量读写,sendFile 适合大文件传输。
  • mmap 需要 4 次上下文切换,3 次数据拷贝;sendFile 需要 3 次上下文切换,最少 2 次数据拷贝。
  • sendFile 可以利用 DMA 方式,减少 CPU 拷贝,mmap 则不能(必须从内核拷贝到 Socket 缓冲区)。

用户程序在操作系统中读取数据发送的过程

mmp映射优化后

mmap 通过内存映射,用户空间可以共享内核空间的数据。

这样,在进行网络传输时,减少了内核空间到用户空间的拷贝

sendfile优化后

linux2.1中内核buffer还会写到socket缓冲区,在linux2.4后直接就从内核copy到网络协议栈

相关推荐
回家路上绕了弯5 小时前
外卖员重复抢单?从技术到运营的全链路解决方案
分布式·后端
忍冬行者6 小时前
Kafka 概念与部署手册
分布式·kafka
深蓝电商API6 小时前
爬虫+Redis:如何实现分布式去重与任务队列?
redis·分布式·爬虫·python
在未来等你6 小时前
Elasticsearch面试精讲 Day 28:版本升级与滚动重启
大数据·分布式·elasticsearch·搜索引擎·面试
AAA小肥杨13 小时前
基于k8s的Python的分布式深度学习训练平台搭建简单实践
人工智能·分布式·python·ai·kubernetes·gpu
爬山算法16 小时前
Redis(73)如何处理Redis分布式锁的死锁问题?
数据库·redis·分布式
yumgpkpm17 小时前
华为鲲鹏 Aarch64 环境下多 Oracle 、mysql数据库汇聚到Cloudera CDP7.3操作指南
大数据·数据库·mysql·华为·oracle·kafka·cloudera
祈祷苍天赐我java之术18 小时前
Redis 数据类型与使用场景
java·开发语言·前端·redis·分布式·spring·bootstrap
猫林老师20 小时前
HarmonyOS线程模型与性能优化实战
数据库·分布式·harmonyos
阿里云云原生21 小时前
AI 时代的数据通道:云消息队列 Kafka 的演进与实践
云原生·kafka