大数据课程I4——Kafka的零拷贝技术

文章作者邮箱:yugongshiye@sina.cn 地址:广东惠州

▲ 本章节目的

⚪ 掌握Kafka的零拷贝技术;

⚪ 了解常规的文件传输过程;

一、常规的网络传输原理

表面上一个很简单的网络文件输出的过程,在OS底层,会发现数据会被拷贝4次。

内核态可以理解为特权态,可以访问计算机的所有资源。

而用户态的访问资源是受限的。

上图中,如果要对文件数据修改,则只能在用户态的缓冲区修改,所以需要拷贝4次。

但如果仅仅是发送文件数据,则 copy 4 次是没有意义的,并且还是产生 4 次内核态和用户态的切换,这些都需要小号CPU性能的。

二、Kafka的零拷贝技术

总结:

  1. Kafka的写入性能高:因为底层是磁盘顺序写。

  2. Kafka的读取性能高,因为底层是由索引机制。

  3. Kafka的传输性能高,因为底层使用Zero Copy技术。

相关推荐
ZBLHai16 分钟前
三款实用投标辅助工具网站推荐
大数据·人工智能
longxibo26 分钟前
【Ubuntu datasophon1.2.1 二开之六:解决CLICKHOUSE安装问题】
大数据·linux·clickhouse·ubuntu
一人の梅雨1 小时前
京东工业平台商品详情接口进阶实战:B2B采购场景适配+合规落地+多规格解析全方案
java·大数据·人工智能
Flying pigs~~1 小时前
数据分析三剑客之Pandas
大数据·数据库·人工智能·数据分析·numpy·pandas
赵谨言1 小时前
运用Python编程计算减压孔板孔口直径的研究
大数据·开发语言·经验分享·python
闻哥1 小时前
Elasticsearch查询优化实战:从原理到落地的全方位调优指南
java·大数据·elasticsearch·搜索引擎·面试·全文检索·springboot
组合缺一2 小时前
OpenSolon v3.9.3, v3.8.5, v3.7.5, v3.6.8 年货版发布
java·人工智能·分布式·ai·llm·solon·mcp
TDengine (老段)2 小时前
TDengine IDMP 数据可视化 6. 资产列表
大数据·数据库·物联网·时序数据库·tdengine·涛思数据
天辛大师2 小时前
天辛大师最新著作命理学三千问与AI全息智能体(首发)
大数据·人工智能·决策树·随机森林·启发式算法
档案宝档案管理2 小时前
从台账到检索,全面提升档案管理的便捷性和安全性
大数据·人工智能·档案·档案管理