大数据课程I4——Kafka的零拷贝技术

文章作者邮箱:yugongshiye@sina.cn 地址:广东惠州

▲ 本章节目的

⚪ 掌握Kafka的零拷贝技术;

⚪ 了解常规的文件传输过程;

一、常规的网络传输原理

表面上一个很简单的网络文件输出的过程,在OS底层,会发现数据会被拷贝4次。

内核态可以理解为特权态,可以访问计算机的所有资源。

而用户态的访问资源是受限的。

上图中,如果要对文件数据修改,则只能在用户态的缓冲区修改,所以需要拷贝4次。

但如果仅仅是发送文件数据,则 copy 4 次是没有意义的,并且还是产生 4 次内核态和用户态的切换,这些都需要小号CPU性能的。

二、Kafka的零拷贝技术

总结:

  1. Kafka的写入性能高:因为底层是磁盘顺序写。

  2. Kafka的读取性能高,因为底层是由索引机制。

  3. Kafka的传输性能高,因为底层使用Zero Copy技术。

相关推荐
杨航 AI5 分钟前
Frank-Job +Dify 实现openclaw Cron 分布式任务调度的AI化思考
人工智能·分布式
盘古信息IMS13 分钟前
当注塑机开始“思考”:昊方汽车携手盘古信息&中国联通启动IMS V6数智化转型项目
大数据·人工智能·汽车
guoguangwu15 分钟前
kafka容器增加健康检查
分布式·kafka
rainy雨24 分钟前
精益生产系统功能拆解:利用精益生产解决多品种小批量场景下的库存积压难题
大数据·人工智能·精益工程
白鲸开源28 分钟前
SeaTunnel × Gravitino:Schema URL 驱动的表结构自动感知方案
大数据·人工智能·开源
Java爱好狂.30 分钟前
2026如何备战互联网大厂Java面试?
java·分布式·高并发·java面试·后端开发·java架构师·互联网大厂
wanhengidc43 分钟前
服务器对于企业的作用
大数据·运维·服务器·分布式
ApacheSeaTunnel1 小时前
Apache SeaTunnel 2.3.13 重磅发布!最值得关注的 Top 10 功能更新
大数据·数据集成·seatunnel·数据同步·发版
JZC_xiaozhong1 小时前
ERP与MES制造数据同步:痛点破解与高效落地实践
大数据·数据库·制造·数据传输·数据孤岛解决方案·数据集成与应用集成·异构数据整合
墨着染霜华1 小时前
Java实战:封装Redis非阻塞分布式锁,彻底解决表单重复提交主键冲突
java·redis·分布式