kafka 保证有序性
背景:消息是按照生产顺序发布到 kafka 上
接着,会经历两个阶段:这两个阶段都可能会导致消息的乱序
-
第一个阶段:根据 topic 将消息放到对应 partition
如果是随机投放消息到多个 partition 中,这会导致需要被有序消费的消息被 kafka 并行处理。
原因:partition是Kafka并行度调优的最小单元。
解决方式:确保需要被有序消费的消息处于同一个 partition
- 建立只有一个分区的 topic
- 对该 topic 建立多个分区,但需要在发消息时指定 partition key,kafka 会进行 Hash 计算(这种比第一种可以提高该 topic 的吞吐量)
-
第二个阶段:consumer 消费该 partition 的消息
如果有多个消费者线程去消费,会导致乱序。
原因:因为每个消费者线程都在内存中用个队列存放消息,它们之间是并发处理的。
解决方式:确保需要被有序消费的消息处于同一个消费者线程
- 消费端使用单线程模型
- 使用多线程模型,但需要利用消息的唯一标识(可通过 Hash )将他们分配到同一个消费者线程上