大数据课程I4——Kafka的零拷贝技术

文章作者邮箱:yugongshiye@sina.cn 地址:广东惠州

▲ 本章节目的

⚪ 掌握Kafka的零拷贝技术;

⚪ 了解常规的文件传输过程;

一、常规的网络传输原理

表面上一个很简单的网络文件输出的过程,在OS底层,会发现数据会被拷贝4次。

内核态可以理解为特权态,可以访问计算机的所有资源。

而用户态的访问资源是受限的。

上图中,如果要对文件数据修改,则只能在用户态的缓冲区修改,所以需要拷贝4次。

但如果仅仅是发送文件数据,则 copy 4 次是没有意义的,并且还是产生 4 次内核态和用户态的切换,这些都需要小号CPU性能的。

二、Kafka的零拷贝技术

总结:

  1. Kafka的写入性能高:因为底层是磁盘顺序写。

  2. Kafka的读取性能高,因为底层是由索引机制。

  3. Kafka的传输性能高,因为底层使用Zero Copy技术。

相关推荐
ywyy67982 分钟前
品牌GEO优化系统开发:区域流量、用户点击、到店转化的数据分析技巧
大数据·geo系统开发·geo系统·geo优化系统开发·geo优化系统·品牌geo
IT观测16 分钟前
选择可信数据空间安全服务商:源堡科技以风险管控能力破局
大数据·科技·安全
CNRio38 分钟前
Day 51:Git的高级技巧:使用Git的reflog恢复丢失的提交
大数据·git·elasticsearch
LDG_AGI39 分钟前
【推荐系统】深度学习训练框架(二十二):PyTorch2.5 + TorchRec1.0超大规模模型分布式推理实战
人工智能·分布式·深度学习
第七在线42 分钟前
Style Union携手第七在线 全面推进商品管理智能化升级
大数据
kuankeTech1 小时前
海南封关供应链重构:外贸ERP如何成为企业的“数字海关”
大数据·数据库·人工智能·重构·软件开发·erp
WZGL12301 小时前
乡村振兴背景下丨农村养老服务的价值重构与路径创新
大数据·人工智能·科技·安全·智能家居
Linux猿1 小时前
2025年亚马逊全球线上商采趋势与区域洞察报告 | 附PDF
大数据·人工智能·研报精选
2503_946971861 小时前
【SystemDesign/HA】2025年度高可用分布式仿真节点与预测模型容灾演练配置 (Disaster Recovery Config)
大数据·分布式·算法·系统架构·数据集
YangYang9YangYan1 小时前
2026年大专大数据与会计专业核心证书推荐
大数据·学习·数据分析