消息队列kafka

消息队列解决的问题

1. 解耦，通过消息队列实现应用之间解耦，模块儿之间解耦

2. 跨线程/进程通信，通过消息队列传递数据，实现不同线程/进程间通信

3. 提升系统稳定性，在高并发场景通过消息队列缓冲，可以实现削峰填谷，使系统稳定运行，避免突发流量冲击

4. 一写多读的广播模型

kafka时延小于1ms

测试条件：producer部署在腾讯云主机，consumer部署在腾讯云主机，kafka集群使用腾讯云kafka服务，测试数据大小500字节，数据发送频率20Hz，测试时常10分钟

测试结果：26分位值时间差为0ms，98分位置为1ms，99.9分为值为2ms，最长时间4ms

kafka高性能原理

1. Kafka采用分布式集群架构，通过分区（Partition）实现并行处理。通过分区机制实现对同一队列的并发读和并发写，kafka多个分区可以分布在集群的多台机器上，从而通过充分发挥硬件资源的性能提升系统吞吐和性能，通过多消费者、多生产者并发处理大大提升了系统的吞吐量；

2. kafka数据落盘采用顺序写，大大提升了数据持久化的性能，顺序写相比随机写来说，在机械硬盘上效率顺序写要快上千倍，顺序读的效率比随机读的效率快几百倍；在固态硬盘上顺序读写也比随机读写效率高几倍到几十倍；

3. 零拷贝技术，Kafka 使用了操作系统级的零拷贝特性来减少数据在用户态和内核态之间的拷贝，从而提高了数据传输的效率；

4. Kafka使用高性能的异步网络传输技术，通过Reactor模式（事件驱动模式）来处理大量的网络连接和请求。这种设计使得Kafka能够充分利用系统资源，实现高并发、低延迟的数据传输；

5. kafka支持批量操作，Kafka的批量操作包括批量写入、批量发布、以及消费端批量读取，通过批量操作大大提升了系统吞吐量；

总结：

在分布式架构中，消息队列选型时kafka可以满足大部分场景的要求，在低时延、吞吐量、一致性、高可用等方面都表现优异。