大数据课程I4——Kafka的零拷贝技术

文章作者邮箱:yugongshiye@sina.cn 地址:广东惠州

▲ 本章节目的

⚪ 掌握Kafka的零拷贝技术;

⚪ 了解常规的文件传输过程;

一、常规的网络传输原理

表面上一个很简单的网络文件输出的过程,在OS底层,会发现数据会被拷贝4次。

内核态可以理解为特权态,可以访问计算机的所有资源。

而用户态的访问资源是受限的。

上图中,如果要对文件数据修改,则只能在用户态的缓冲区修改,所以需要拷贝4次。

但如果仅仅是发送文件数据,则 copy 4 次是没有意义的,并且还是产生 4 次内核态和用户态的切换,这些都需要小号CPU性能的。

二、Kafka的零拷贝技术

总结:

  1. Kafka的写入性能高:因为底层是磁盘顺序写。

  2. Kafka的读取性能高,因为底层是由索引机制。

  3. Kafka的传输性能高,因为底层使用Zero Copy技术。

相关推荐
ElevenS_it18833 分钟前
日志在哪里找?分布式环境下日志采集断裂的5个排查路径
运维·网络·分布式
凯强同学38 分钟前
投资更偏向实践类知识
大数据
互联网推荐官44 分钟前
上海软件定制开发与数字化建设:D-coding 全平台应用架构及实施指南
大数据·运维
Devin~Y1 小时前
大厂Java面试实录:Spring Boot/Cloud + Redis/Kafka + JWT + RAG/Agent(小Y翻车版)
java·spring boot·redis·spring cloud·kafka·spring security·jwt
csgo打的菜又爱玩1 小时前
9.Dispatcher 启动流程解析
大数据·flink·源代码管理
狂奔蜗牛飙车1 小时前
大数据赛项(中职组)-三个节点的创建及名字网络配置
大数据·大数据入门·大数据竞赛指南(中职组)·centos三节点创建·主机名及ip地址配置
小王毕业啦1 小时前
1990-2024年 省级-绿色金融指数(+文献)
大数据·人工智能·数据挖掘·数据分析·社科数据·实证分析·经管数据
AI 编程助手GPT1 小时前
GPT-5.5与Claude Opus 4.7编程能力深度对比:2026年4月主流AI编程模型选型指南
大数据·人工智能·gpt·ai·ai编程
小王毕业啦1 小时前
1985.1-2026.1 世界各国经济政策不确定性指数(xlsx)
大数据·人工智能·数据挖掘·数据分析·社科数据·实证数据·经管数据
Jackyzhe1 小时前
从零学习Kafka:生产者分区机制
分布式·学习·kafka