kafka为什么快

消息发送

1、批量发送: Kafka 通过将多个消息打包成一个批次,减少了网络传输和磁盘写入的次数,从而提高了消息的吞吐量和传输效率。

2、异步发送: 生产者可以异步发送消息,不必等待每个消息的确认,这大大提高了消息发送的效2.率

3、消息压缩: 支持对消息进行压缩,减少网络传输的数据量

4、并行发送: 通过将数据分布在不同的分区 (Partitions)中,生产者可以并行发送消息,从而提高

了吞吐量。

消息存储

1、零拷贝技术:Kafka 使用零拷贝技术来避免了数据的拷贝操作,降低了内存和 CPU 的使用率,提高了系统的性能

2、顺序写磁盘:Kafka把消息存储在磁盘上,且以顺序的方式写入数据。顺序写入比随机写入速度快很多,因为它减少了磁头寻道时间。避免了随机读写带来的性能损耗,提高了磁盘的使用效率

3、页缓存: Kafka 将其数据存储在磁盘中,但在访问数据时,它会先将数据加载到操作系统的页缓存中,并在页缓存中保留一份副本,从而实现快速的数据访问

4、分区和副本:Kafka 采用分区和副本的机制,可以将数据分散到多个节点上进行处理,从而实现了分布式的高可用性和负载均衡

消息消费

1、并行消费:不同的消费者可以独立消费不同的分区,实现消费并且处理

2、批量拉取:kafka支持批量拉取消息,可以一次性拉取多个消息进行消费,减少网络消耗,提升性能

相关推荐
生成论实验室1 小时前
即事是道:一种基于生成论的分布式体验存在论
人工智能·分布式·科技·神经网络·信息与通信
无心水9 小时前
【分布式利器:大厂技术】4、字节跳动高性能架构:Kitex+Hertz+BytePS,实时流与AI的极致优化
人工智能·分布式·架构·kitex·分布式利器·字节跳动分布式·byteps
爬山算法15 小时前
Redis(167)如何使用Redis实现分布式缓存?
redis·分布式·缓存
NPE~15 小时前
面试高频——分布式事务详解
分布式·面试·职场和发展·程序员·事务·分布式事务
西岭千秋雪_15 小时前
MySQL集群搭建
java·数据库·分布式·mysql
源代码•宸18 小时前
分布式缓存-GO(项目整体架构简介、Ubuntu 22.04 64位安装GoLang、安装Docker、解决Go module 的依赖问题)
经验分享·分布式·后端·ubuntu·缓存·docker·golang
Ttang2319 小时前
【SpringCloud1】从单体架构到分布式系统架构
分布式·spring cloud·架构
博语小屋20 小时前
生产者消费者模型
linux·分布式·缓存
JIAWAP21 小时前
Redis数据安全性分析之RDB详解
数据库·redis·分布式·缓存
唐僧洗头爱飘柔952721 小时前
【区块链技术(04)】区块链核心技术:分布式网络的定义和特点;分布式账本的特性、实现与工作流程;共识机制
网络·分布式·区块链·共识算法·分布式账本·共识机制