kafka为什么快

消息发送

1、批量发送: Kafka 通过将多个消息打包成一个批次,减少了网络传输和磁盘写入的次数,从而提高了消息的吞吐量和传输效率。

2、异步发送: 生产者可以异步发送消息,不必等待每个消息的确认,这大大提高了消息发送的效2.率

3、消息压缩: 支持对消息进行压缩,减少网络传输的数据量

4、并行发送: 通过将数据分布在不同的分区 (Partitions)中,生产者可以并行发送消息,从而提高

了吞吐量。

消息存储

1、零拷贝技术:Kafka 使用零拷贝技术来避免了数据的拷贝操作,降低了内存和 CPU 的使用率,提高了系统的性能

2、顺序写磁盘:Kafka把消息存储在磁盘上,且以顺序的方式写入数据。顺序写入比随机写入速度快很多,因为它减少了磁头寻道时间。避免了随机读写带来的性能损耗,提高了磁盘的使用效率

3、页缓存: Kafka 将其数据存储在磁盘中,但在访问数据时,它会先将数据加载到操作系统的页缓存中,并在页缓存中保留一份副本,从而实现快速的数据访问

4、分区和副本:Kafka 采用分区和副本的机制,可以将数据分散到多个节点上进行处理,从而实现了分布式的高可用性和负载均衡

消息消费

1、并行消费:不同的消费者可以独立消费不同的分区,实现消费并且处理

2、批量拉取:kafka支持批量拉取消息,可以一次性拉取多个消息进行消费,减少网络消耗,提升性能

相关推荐
此时不提桶,更待何时9 小时前
06-23-A-RabbitMQ生态集成详解
分布式·rabbitmq
m0_6464299714 小时前
RabbitMQ 核心知识总结(生产实战版)
分布式·rabbitmq
DBA_G16 小时前
GBase 8c分布式数据库客户端工具 gsql
数据库·分布式
chunyublog16 小时前
Spark 词频统计练习
大数据·分布式·spark
ClouGence17 小时前
开源数据库管理工具 CloudDM 4.4.0 发布,新增 Kafka、SAP HANA 数据源
数据库·kafka
acrel718 小时前
高速公路分布式光伏并网电能质量与安全保护方案应用
分布式·安全
RobinXYuan18 小时前
【Kafka 源码手记】01 从消息队列到 Event Streaming
kafka·源码阅读
IT小小猪19 小时前
# Hadoop 3.3.6 完全分布式集群部署知识库
hadoop·分布式·eclipse
此时不提桶,更待何时20 小时前
06-24-B-RabbitMQ面试与生产事故实战
分布式·面试·rabbitmq
来福猿20 小时前
分布式锁 Redis 实现源码分析:SETNX、过期时间与可重入设计
数据库·redis·分布式