消息队列kafka

消息队列解决的问题

  1. 解耦,通过消息队列实现应用之间解耦,模块儿之间解耦

  2. 跨线程/进程通信,通过消息队列传递数据,实现不同线程/进程间通信

  3. 提升系统稳定性,在高并发场景通过消息队列缓冲,可以实现削峰填谷,使系统稳定运行,避免突发流量冲击

  4. 一写多读的广播模型

kafka时延小于1ms

测试条件:producer部署在腾讯云主机,consumer部署在腾讯云主机,kafka集群使用腾讯云kafka服务,测试数据大小500字节,数据发送频率20Hz,测试时常10分钟

测试结果:26分位值时间差为0ms,98分位置为1ms,99.9分为值为2ms,最长时间4ms

kafka高性能原理

  1. Kafka采用分布式集群架构,通过分区(Partition)实现并行处理。通过分区机制实现对同一队列的并发读和并发写,kafka多个分区可以分布在集群的多台机器上,从而通过充分发挥硬件资源的性能提升系统吞吐和性能,通过多消费者、多生产者并发处理大大提升了系统的吞吐量;

  2. kafka数据落盘采用顺序写,大大提升了数据持久化的性能,顺序写相比随机写来说,在机械硬盘上效率顺序写要快上千倍,顺序读的效率比随机读的效率快几百倍;在固态硬盘上顺序读写也比随机读写效率高几倍到几十倍;

  3. 零拷贝技术,Kafka 使用了操作系统级的零拷贝特性来减少数据在用户态和内核态之间的拷贝,从而提高了数据传输的效率;

  4. Kafka使用高性能的异步网络传输技术,通过Reactor模式(事件驱动模式)来处理大量的网络连接和请求。这种设计使得Kafka能够充分利用系统资源,实现高并发、低延迟的数据传输;

  5. kafka支持批量操作,Kafka的批量操作包括批量写入、批量发布、以及消费端批量读取,通过批量操作大大提升了系统吞吐量;

总结:

在分布式架构中,消息队列选型时kafka可以满足大部分场景的要求,在低时延、吞吐量、一致性、高可用等方面都表现优异。

相关推荐
天冬忘忧16 分钟前
Kafka 数据倾斜:原因、影响与解决方案
分布式·kafka
隔着天花板看星星20 分钟前
Kafka-Consumer理论知识
大数据·分布式·中间件·kafka
holywangle21 分钟前
解决Flink读取kafka主题数据无报错无数据打印的重大发现(问题已解决)
大数据·flink·kafka
隔着天花板看星星23 分钟前
Kafka-副本分配策略
大数据·分布式·中间件·kafka
金刚猿43 分钟前
简单理解下基于 Redisson 库的分布式锁机制
分布式·分布式锁·redisson
我一直在流浪1 小时前
Kafka - 消费者程序仅消费一半分区消息的问题
分布式·kafka
张彦峰ZYF2 小时前
投资策略规划最优决策分析
分布式·算法·金融
B站计算机毕业设计超人3 小时前
计算机毕业设计SparkStreaming+Kafka旅游推荐系统 旅游景点客流量预测 旅游可视化 旅游大数据 Hive数据仓库 机器学习 深度学习
大数据·数据仓库·hadoop·python·kafka·课程设计·数据可视化
processflow流程图5 小时前
分布式kettle调度平台v6.4.0新功能介绍
分布式
全栈开发圈5 小时前
干货分享|分布式数据科学工具 Xorbits 的使用
分布式