大数据课程I4——Kafka的零拷贝技术

文章作者邮箱:yugongshiye@sina.cn 地址:广东惠州

▲ 本章节目的

⚪ 掌握Kafka的零拷贝技术;

⚪ 了解常规的文件传输过程;

一、常规的网络传输原理

表面上一个很简单的网络文件输出的过程,在OS底层,会发现数据会被拷贝4次。

内核态可以理解为特权态,可以访问计算机的所有资源。

而用户态的访问资源是受限的。

上图中,如果要对文件数据修改,则只能在用户态的缓冲区修改,所以需要拷贝4次。

但如果仅仅是发送文件数据,则 copy 4 次是没有意义的,并且还是产生 4 次内核态和用户态的切换,这些都需要小号CPU性能的。

二、Kafka的零拷贝技术

总结:

  1. Kafka的写入性能高:因为底层是磁盘顺序写。

  2. Kafka的读取性能高,因为底层是由索引机制。

  3. Kafka的传输性能高,因为底层使用Zero Copy技术。

相关推荐
cy_cy00213 小时前
地砖屏如何优化展厅空间利用率?
大数据·科技·人机交互·软件构建
郑州光合科技余经理13 小时前
同城020系统架构实战:中台化设计与部署
java·大数据·开发语言·后端·系统架构·uni-app·php
资讯雷达13 小时前
2026年十大外贸ERP软件深度测评与选型白皮书
大数据·人工智能·物联网
QYZL_AIGC13 小时前
陪伴式 AI 赋能:全域众链让中小微实体数字化转型 “不踩坑”
大数据·人工智能
双层吉士憨包13 小时前
如何注册Talkatone免费美国号码?实测有效方案
大数据·运维·网络
小王努力学编程14 小时前
LangChain——AI应用开发框架
服务器·c++·人工智能·分布式·rpc·langchain·brpc
培培说证14 小时前
2026 高职大数据专业零基础能考的证书有哪些?
大数据
Python_Study202514 小时前
工程材料企业如何通过智慧获客软件破解市场困局:方法论、架构与实践
大数据·网络·数据结构·人工智能·架构
zpedu14 小时前
PMP、软考中项、高项,你选哪个?
大数据
newsxun14 小时前
科技为刃,破界解锁全生命周期营养新时代
大数据·人工智能·科技