kafka保证消息有序性

kafka 保证有序性

背景：消息是按照生产顺序发布到 kafka 上

接着，会经历两个阶段：这两个阶段都可能会导致消息的乱序

• 第一个阶段：根据 topic 将消息放到对应 partition

  如果是随机投放消息到多个 partition 中，这会导致需要被有序消费的消息被 kafka 并行处理。

  原因：partition是Kafka并行度调优的最小单元。

  解决方式：确保需要被有序消费的消息处于同一个 partition

  1. 建立只有一个分区的 topic
  2. 对该 topic 建立多个分区，但需要在发消息时指定 partition key，kafka 会进行 Hash 计算（这种比第一种可以提高该 topic 的吞吐量）

• 第二个阶段：consumer 消费该 partition 的消息

  如果有多个消费者线程去消费，会导致乱序。

  原因：因为每个消费者线程都在内存中用个队列存放消息，它们之间是并发处理的。

  解决方式：确保需要被有序消费的消息处于同一个消费者线程

  1. 消费端使用单线程模型
  2. 使用多线程模型，但需要利用消息的唯一标识（可通过 Hash ）将他们分配到同一个消费者线程上