kafka保证消息有序性

kafka 保证有序性

背景:消息是按照生产顺序发布到 kafka 上

接着,会经历两个阶段:这两个阶段都可能会导致消息的乱序

  • 第一个阶段:根据 topic 将消息放到对应 partition

    如果是随机投放消息到多个 partition 中,这会导致需要被有序消费的消息被 kafka 并行处理。

    原因:partition是Kafka并行度调优的最小单元。

    解决方式:确保需要被有序消费的消息处于同一个 partition

    1. 建立只有一个分区的 topic
    2. 对该 topic 建立多个分区,但需要在发消息时指定 partition key,kafka 会进行 Hash 计算(这种比第一种可以提高该 topic 的吞吐量)
  • 第二个阶段:consumer 消费该 partition 的消息

    如果有多个消费者线程去消费,会导致乱序。

    原因:因为每个消费者线程都在内存中用个队列存放消息,它们之间是并发处理的。

    解决方式:确保需要被有序消费的消息处于同一个消费者线程

    1. 消费端使用单线程模型
    2. 使用多线程模型,但需要利用消息的唯一标识(可通过 Hash )将他们分配到同一个消费者线程上
相关推荐
虾条_花吹雪1 分钟前
2、Connecting to Kafka
分布式·ai·kafka
Edingbrugh.南空2 小时前
Hadoop高可用集群搭建
大数据·hadoop·分布式
Bug退退退1232 小时前
RabbitMQ 高级特性之重试机制
java·分布式·spring·rabbitmq
在肯德基吃麻辣烫4 小时前
《Redis》缓存与分布式锁
redis·分布式·缓存
亲爱的非洲野猪4 小时前
Kafka消息积压全面解决方案:从应急处理到系统优化
分布式·kafka
掘金-我是哪吒5 小时前
分布式微服务系统架构第157集:JavaPlus技术文档平台日更-Java多线程编程技巧
java·分布式·微服务·云原生·架构
掘金-我是哪吒5 小时前
分布式微服务系统架构第155集:JavaPlus技术文档平台日更-Java线程池实现原理
java·分布式·微服务·云原生·架构
Bug退退退12314 小时前
RabbitMQ 高级特性之死信队列
java·分布式·spring·rabbitmq
prince0515 小时前
Kafka 生产者和消费者高级用法
分布式·kafka·linq
菜萝卜子16 小时前
【Project】基于kafka的高可用分布式日志监控与告警系统
分布式·kafka