kafka为什么快

消息发送

1、批量发送: Kafka 通过将多个消息打包成一个批次,减少了网络传输和磁盘写入的次数,从而提高了消息的吞吐量和传输效率。

2、异步发送: 生产者可以异步发送消息,不必等待每个消息的确认,这大大提高了消息发送的效2.率

3、消息压缩: 支持对消息进行压缩,减少网络传输的数据量

4、并行发送: 通过将数据分布在不同的分区 (Partitions)中,生产者可以并行发送消息,从而提高

了吞吐量。

消息存储

1、零拷贝技术:Kafka 使用零拷贝技术来避免了数据的拷贝操作,降低了内存和 CPU 的使用率,提高了系统的性能

2、顺序写磁盘:Kafka把消息存储在磁盘上,且以顺序的方式写入数据。顺序写入比随机写入速度快很多,因为它减少了磁头寻道时间。避免了随机读写带来的性能损耗,提高了磁盘的使用效率

3、页缓存: Kafka 将其数据存储在磁盘中,但在访问数据时,它会先将数据加载到操作系统的页缓存中,并在页缓存中保留一份副本,从而实现快速的数据访问

4、分区和副本:Kafka 采用分区和副本的机制,可以将数据分散到多个节点上进行处理,从而实现了分布式的高可用性和负载均衡

消息消费

1、并行消费:不同的消费者可以独立消费不同的分区,实现消费并且处理

2、批量拉取:kafka支持批量拉取消息,可以一次性拉取多个消息进行消费,减少网络消耗,提升性能

相关推荐
清风与日月3 小时前
Yitter.IdGenerator:高性能分布式唯一ID生成器详解
分布式·c#·.net·.netcore
FfHUCisI4 小时前
Golang Redis 分布式锁
redis·分布式·golang
陈皮波比茶5 小时前
RabbitMQ 消息队列
分布式·rabbitmq
敖行客 Allthinker7 小时前
分布式远程研发团队,借助云 IDE 统一开发环境
ide·分布式
磐链科技17 小时前
交场景下的钱包开发痛点:并发交易与消息推送的分布式一致性技术方案
分布式
程序员与背包客_CoderZ1 天前
高性能分布式KV存储引擎RocksDB入门与C/C++编码实战
c语言·开发语言·数据库·c++·分布式·分布式数据库·rocksdb
汽车仪器仪表相关领域1 天前
ZDT‑I伺服电机测试系统:四象限动态加载
大数据·数据库·分布式·功能测试·汽车·压力测试·可用性测试
骇客野人1 天前
Java分布式任务调度方案(完整落地指南)
java·开发语言·分布式
每天一道题1 天前
从 async/await 到幂等恢复:把 Python 并发和 Agent Runtime 一次讲清楚
分布式·python
Zach_菠萝侠1 天前
【deepseek harness研究】进化方向7:分布式与远程执行 思考、设计与实现
分布式·深度学习·deepseek