大数据课程I4——Kafka的零拷贝技术

文章作者邮箱:yugongshiye@sina.cn 地址:广东惠州

▲ 本章节目的

⚪ 掌握Kafka的零拷贝技术;

⚪ 了解常规的文件传输过程;

一、常规的网络传输原理

表面上一个很简单的网络文件输出的过程,在OS底层,会发现数据会被拷贝4次。

内核态可以理解为特权态,可以访问计算机的所有资源。

而用户态的访问资源是受限的。

上图中,如果要对文件数据修改,则只能在用户态的缓冲区修改,所以需要拷贝4次。

但如果仅仅是发送文件数据,则 copy 4 次是没有意义的,并且还是产生 4 次内核态和用户态的切换,这些都需要小号CPU性能的。

二、Kafka的零拷贝技术

总结:

  1. Kafka的写入性能高:因为底层是磁盘顺序写。

  2. Kafka的读取性能高,因为底层是由索引机制。

  3. Kafka的传输性能高,因为底层使用Zero Copy技术。

相关推荐
Wang's Blog13 分钟前
Kafka: Admin 客户端操作指南之主题管理与集群监控
分布式·kafka
是阿威啊18 分钟前
企业级的RDD、 Spark SQL、DataFrame、Dataset使用场景介绍
大数据·sql·spark
Pocker_Spades_A25 分钟前
AI Ping 上线 GLM-4.7 与 MiniMax M2.1:两款国产旗舰模型免费用!
大数据·数据库·人工智能
源代码•宸26 分钟前
goframe框架签到系统项目开发(用户认证、基于 JWT 实现认证、携带access token获取用户信息)
服务器·开发语言·网络·分布式·后端·golang·jwt
前端世界1 小时前
别只测功能:一套可落地的鸿蒙分布式压力测试方案
分布式·压力测试·harmonyos
简道云平台1 小时前
工程BOM、制造BOM、成本BOM有什么区别?三套 BOM 各自解决什么问题?
大数据·制造·bom
Sui_Network1 小时前
回顾 2025,Sui 技术栈的落地之年
大数据·人工智能·web3·去中心化·区块链
Wang's Blog1 小时前
Kafka: AdminClient 核心操作详解之Topic 信息查询、配置修改与分区管理
分布式·kafka
卜锦元1 小时前
Golang后端性能优化手册(第一章:数据库性能优化)
大数据·开发语言·数据库·人工智能·后端·性能优化·golang
小北方城市网1 小时前
第 9 课:Node.js + Express 后端实战 —— 为任务管理系统搭建专属 API 服务
大数据·前端·ai·node.js·express