大数据课程I4——Kafka的零拷贝技术

文章作者邮箱:yugongshiye@sina.cn 地址:广东惠州

▲ 本章节目的

⚪ 掌握Kafka的零拷贝技术;

⚪ 了解常规的文件传输过程;

一、常规的网络传输原理

表面上一个很简单的网络文件输出的过程,在OS底层,会发现数据会被拷贝4次。

内核态可以理解为特权态,可以访问计算机的所有资源。

而用户态的访问资源是受限的。

上图中,如果要对文件数据修改,则只能在用户态的缓冲区修改,所以需要拷贝4次。

但如果仅仅是发送文件数据,则 copy 4 次是没有意义的,并且还是产生 4 次内核态和用户态的切换,这些都需要小号CPU性能的。

二、Kafka的零拷贝技术

总结:

  1. Kafka的写入性能高:因为底层是磁盘顺序写。

  2. Kafka的读取性能高,因为底层是由索引机制。

  3. Kafka的传输性能高,因为底层使用Zero Copy技术。

相关推荐
captain_AIouo7 分钟前
Captain AI:智能运营破局——OZON商家增长引擎
大数据·人工智能·经验分享·aigc
我要用代码向我喜欢的女孩表白16 分钟前
在spark集群上在部署一套spark环境,不要影响过去环境
大数据·分布式·spark
Elastic 中国社区官方博客22 分钟前
在 Elastic 中使用 OpenTelemetry 内容包可视化 OpenTelemetry 数据
大数据·开发语言·数据库·elasticsearch·搜索引擎
lifallen23 分钟前
Flink Checkpoint 流程、Barrier 流动与 RocksDB 排障
java·大数据·flink
Mike117.31 分钟前
GBase 8a UNION 和 UNION ALL 的使用边界
大数据·数据库
跨境卫士—小依1 小时前
平台流量分发机制变化跨境卖家如何重新获取曝光
大数据·人工智能·跨境电商·亚马逊·营销策略
jixingkj1 小时前
避开设置误区,让免打扰模式真正适配你的生活
大数据·安全·智能手机
小荟荟2 小时前
全国数据资产新闻和报纸摘要联播 2026年3月26日 第29期
大数据·人工智能
热爱专研AI的学妹2 小时前
Claude Code 完全使用指南:从入门到高效 AI 编程实战
大数据·人工智能·阿里云·语言模型
xushichang123_2 小时前
AI获客工具有哪些?径硕科技(JINGdigital)与JINGEO:B2B企业智能增长的双引擎
大数据·人工智能·科技