kafka保证消息有序性

kafka 保证有序性

背景:消息是按照生产顺序发布到 kafka 上

接着,会经历两个阶段:这两个阶段都可能会导致消息的乱序

  • 第一个阶段:根据 topic 将消息放到对应 partition

    如果是随机投放消息到多个 partition 中,这会导致需要被有序消费的消息被 kafka 并行处理。

    原因:partition是Kafka并行度调优的最小单元。

    解决方式:确保需要被有序消费的消息处于同一个 partition

    1. 建立只有一个分区的 topic
    2. 对该 topic 建立多个分区,但需要在发消息时指定 partition key,kafka 会进行 Hash 计算(这种比第一种可以提高该 topic 的吞吐量)
  • 第二个阶段:consumer 消费该 partition 的消息

    如果有多个消费者线程去消费,会导致乱序。

    原因:因为每个消费者线程都在内存中用个队列存放消息,它们之间是并发处理的。

    解决方式:确保需要被有序消费的消息处于同一个消费者线程

    1. 消费端使用单线程模型
    2. 使用多线程模型,但需要利用消息的唯一标识(可通过 Hash )将他们分配到同一个消费者线程上
相关推荐
{⌐■_■}10 小时前
【Kafka】登录日志处理的三次阶梯式优化实践:从同步写入到Kafka多分区批处理
数据库·分布式·mysql·kafka·go
qq_5298353510 小时前
RabbitMQ的消息可靠传输
分布式·rabbitmq
CodeWithMe10 小时前
【Note】《Kafka: The Definitive Guide》 第九章:Kafka 管理与运维实战
运维·分布式·kafka
sql2008help11 小时前
1-Kafka介绍及常见应用场景
分布式·kafka
何苏三月15 小时前
SpringCloud系列 - Seata 分布式事务(六)
分布式·spring·spring cloud
工藤学编程16 小时前
分库分表之实战-sharding-JDBC绑定表配置实战
数据库·分布式·后端·sql·mysql
gtestcandle16 小时前
rabbitmq 的多用户、多vhost使用
分布式·rabbitmq
老纪的技术唠嗑局16 小时前
单机分布式一体化数据库的架构设计与优化
数据库·分布式
SkyrimCitadelValinor17 小时前
Git【开源分布式版本控制工具】安装-配置-常用指令-Git远程仓库-IDEA使用Git
分布式·git·gitee·开源·项目管理