kafka为什么快

消息发送

1、批量发送: Kafka 通过将多个消息打包成一个批次,减少了网络传输和磁盘写入的次数,从而提高了消息的吞吐量和传输效率。

2、异步发送: 生产者可以异步发送消息,不必等待每个消息的确认,这大大提高了消息发送的效2.率

3、消息压缩: 支持对消息进行压缩,减少网络传输的数据量

4、并行发送: 通过将数据分布在不同的分区 (Partitions)中,生产者可以并行发送消息,从而提高

了吞吐量。

消息存储

1、零拷贝技术:Kafka 使用零拷贝技术来避免了数据的拷贝操作,降低了内存和 CPU 的使用率,提高了系统的性能

2、顺序写磁盘:Kafka把消息存储在磁盘上,且以顺序的方式写入数据。顺序写入比随机写入速度快很多,因为它减少了磁头寻道时间。避免了随机读写带来的性能损耗,提高了磁盘的使用效率

3、页缓存: Kafka 将其数据存储在磁盘中,但在访问数据时,它会先将数据加载到操作系统的页缓存中,并在页缓存中保留一份副本,从而实现快速的数据访问

4、分区和副本:Kafka 采用分区和副本的机制,可以将数据分散到多个节点上进行处理,从而实现了分布式的高可用性和负载均衡

消息消费

1、并行消费:不同的消费者可以独立消费不同的分区,实现消费并且处理

2、批量拉取:kafka支持批量拉取消息,可以一次性拉取多个消息进行消费,减少网络消耗,提升性能

相关推荐
回家路上绕了弯39 分钟前
分布式事务SAGA模式详解:长事务与复杂流程的柔性事务方案
分布式·后端
Gofarlic_oms12 小时前
集中式 vs 分布式许可:跨地域企业的管控架构选择
大数据·运维·人工智能·分布式·架构·数据挖掘·需求分析
神秘面具男034 小时前
ceph分布式存储
分布式·ceph
北亚数据恢复4 小时前
VSAN分布式存储下非正常关机导致的虚拟机磁盘丢失如何恢复数据?
分布式·数据恢复·服务器数据恢复·北亚数据恢复·vsan数据恢复
xiaoshujiaa4 小时前
Java大厂面试实录:谢飞机硬刚互联网医疗微服务架构,Spring Cloud+Redis+Kafka全踩坑
spring boot·redis·微服务·kafka·flyway·java面试·互联网医疗
阎*水5 小时前
Ceph 分布式存储完整实践指南
linux·运维·分布式·ceph
yours_Gabriel5 小时前
【kafka】基本概念
分布式·中间件·kafka
柒.梧.6 小时前
MyBatis一对一关联查询深度解析:大实体类、SQL99联表、分布式查询实践
分布式·mybatis
Wang's Blog7 小时前
Kafka: Admin 客户端操作指南之主题管理与集群监控
分布式·kafka
源代码•宸7 小时前
goframe框架签到系统项目开发(用户认证、基于 JWT 实现认证、携带access token获取用户信息)
服务器·开发语言·网络·分布式·后端·golang·jwt