大数据课程I4——Kafka的零拷贝技术

文章作者邮箱:yugongshiye@sina.cn 地址:广东惠州

▲ 本章节目的

⚪ 掌握Kafka的零拷贝技术;

⚪ 了解常规的文件传输过程;

一、常规的网络传输原理

表面上一个很简单的网络文件输出的过程,在OS底层,会发现数据会被拷贝4次。

内核态可以理解为特权态,可以访问计算机的所有资源。

而用户态的访问资源是受限的。

上图中,如果要对文件数据修改,则只能在用户态的缓冲区修改,所以需要拷贝4次。

但如果仅仅是发送文件数据,则 copy 4 次是没有意义的,并且还是产生 4 次内核态和用户态的切换,这些都需要小号CPU性能的。

二、Kafka的零拷贝技术

总结:

  1. Kafka的写入性能高:因为底层是磁盘顺序写。

  2. Kafka的读取性能高,因为底层是由索引机制。

  3. Kafka的传输性能高,因为底层使用Zero Copy技术。

相关推荐
7***533415 分钟前
微服务分布式事务解决方案
分布式·微服务·架构
小二·1 小时前
RabbitMQ面试题(22道含答案)
分布式·rabbitmq
草原印象1 小时前
全文检索ElasticSearch实战
大数据·elasticsearch·全文检索
Guheyunyi1 小时前
安防监控系统,如何为你的生活构筑智慧安全屏障?
大数据·人工智能·安全·信息可视化·生活
TDengine (老段)2 小时前
TDengine 字符串函数 Replace 用户手册
java·大数据·数据库·物联网·时序数据库·tdengine·涛思数据
hongweihao2 小时前
Kafka 消息积压了,同事跑路了
后端·spring cloud·kafka
武子康2 小时前
大数据-156 Apache Druid+Kafka 实时分析实战:JSON 拉平摄取与 SQL 指标全流程
大数据·后端·nosql
邮专薛之谦2 小时前
Git复习(查询版本)
大数据·elasticsearch·搜索引擎
悟能不能悟3 小时前
部署和测试 apereo/cas
大数据
小二·3 小时前
Git 高频操作命令大全(分类整理 + 修正说明)
大数据·git·elasticsearch