大数据课程I4——Kafka的零拷贝技术

文章作者邮箱:yugongshiye@sina.cn 地址:广东惠州

▲ 本章节目的

⚪ 掌握Kafka的零拷贝技术;

⚪ 了解常规的文件传输过程;

一、常规的网络传输原理

表面上一个很简单的网络文件输出的过程,在OS底层,会发现数据会被拷贝4次。

内核态可以理解为特权态,可以访问计算机的所有资源。

而用户态的访问资源是受限的。

上图中,如果要对文件数据修改,则只能在用户态的缓冲区修改,所以需要拷贝4次。

但如果仅仅是发送文件数据,则 copy 4 次是没有意义的,并且还是产生 4 次内核态和用户态的切换,这些都需要小号CPU性能的。

二、Kafka的零拷贝技术

总结:

  1. Kafka的写入性能高:因为底层是磁盘顺序写。

  2. Kafka的读取性能高,因为底层是由索引机制。

  3. Kafka的传输性能高,因为底层使用Zero Copy技术。

相关推荐
DeepSCRM13 分钟前
跨境SOP:从环境隔离到实时翻译,打造巴西市场24/7自动转化漏斗
大数据·人工智能
zs宝来了14 分钟前
Apache Spark 内存计算:DAG 调度与执行计划
大数据·数据工程
AI-小柒17 分钟前
磅上线!DataEyes 聚合平台正式接入 GPT-Image-2,开启多模态 AI 生成全新纪元
大数据·开发语言·数据库·人工智能·gpt·php
山海鲸可视化17 分钟前
数字孪生项目案例 | 冷链物流可视化-园区篇
大数据·数据分析·数据可视化·数据看板·可视化大屏
电商API_1800790524725 分钟前
如何实现批量化自动化获取淘宝商品详情数据?爬虫orAPI?
大数据·c++·爬虫·自动化
MY_TEUCK30 分钟前
【Redis 高级实战】分布式缓存、 多级缓存与最佳实践一篇打通
redis·分布式·缓存
cy_cy00230 分钟前
科技展厅借数字化实现跨越式发展
大数据·科技·人机交互·交互·软件构建
财经汇报31 分钟前
当“多级流转“占据六成版图——供应链金融的结构性迁移与产融结合新范式
大数据·数据库
zs宝来了35 分钟前
Apache Flink 流式计算:窗口与时间语义
大数据·数据工程
Zzj_tju42 分钟前
大语言模型技术指南:Function Calling、Tool Use、Agent 框架的工作机制与参数要点
大数据·人工智能·语言模型