大数据课程I4——Kafka的零拷贝技术

文章作者邮箱:yugongshiye@sina.cn 地址:广东惠州

▲ 本章节目的

⚪ 掌握Kafka的零拷贝技术;

⚪ 了解常规的文件传输过程;

一、常规的网络传输原理

表面上一个很简单的网络文件输出的过程,在OS底层,会发现数据会被拷贝4次。

内核态可以理解为特权态,可以访问计算机的所有资源。

而用户态的访问资源是受限的。

上图中,如果要对文件数据修改,则只能在用户态的缓冲区修改,所以需要拷贝4次。

但如果仅仅是发送文件数据,则 copy 4 次是没有意义的,并且还是产生 4 次内核态和用户态的切换,这些都需要小号CPU性能的。

二、Kafka的零拷贝技术

总结:

  1. Kafka的写入性能高:因为底层是磁盘顺序写。

  2. Kafka的读取性能高,因为底层是由索引机制。

  3. Kafka的传输性能高,因为底层使用Zero Copy技术。

相关推荐
嘉禾望岗5038 小时前
spark算子类型
大数据·分布式·spark
CICI131414138 小时前
藦卡机器人:让焊接更洁净、更精准、更智能
大数据·人工智能
一直在追9 小时前
别再用 Java 多线程思维写 Python 了!Asyncio 才是 LLM 高并发的王道
大数据
大厂技术总监下海9 小时前
来自美团生产环境的实战派:开源CAT监控,如何保障超大规模分布式系统可观测性?
分布式·开源
短视频矩阵源码定制9 小时前
矩阵系统源头厂家
大数据·人工智能·矩阵
Linux Huang9 小时前
spring注册组件/服务无效,问题排查
大数据·服务器·数据库·spring
天竺鼠不该去劝架9 小时前
传统财务管理瓶颈:财务机器人如何提升效率
大数据·数据库·人工智能
WZGL12309 小时前
“近邻+数智”:解码智慧养老的温情答案
大数据·人工智能·科技·生活·智能家居
A3608_(韦煜粮)10 小时前
从数据沼泽到智慧引擎:现代大数据分析与应用架构全景解密
大数据·数据分析·数据治理·实时计算·数据架构·数据网格·数据湖仓
Dxy123931021610 小时前
如何基于 Elasticsearch 构建亿级相似图片搜索系统
大数据·elasticsearch·搜索引擎