[kafka]kafka如何保证消息有序

严格的说,kafka只能保证同一个分区内的消息存储的有序性。

这个问题并没有标准答案,面试官只是想看看你如何思考的。

1、kafka怎么保证消息的消费顺序。可以,但是代价太大了。

kafka只能保证单partition有序,如果kafka要保证多个partition有序,不仅broker保存的数据要保持顺序,消费时也要按序消费。假设partition1堵了,为了有序,那partition2以及后续的分区也不能被消费,这种情况下,kafka就退化成了单一队列,毫无并发性可言,极大降低系统性能。

因此kafka使用多partition的概念,并且只保证单partition有序。这样不同partition之间不会被干扰。

2、kafka保证消息顺序有2种方法

1)全局消费顺序:设置一个partition

2)局部消费顺序:多个partition局部有序

生产时:producer在把消息发送到partition的时候,当key非空时,用key的hash值对partition个数取模,决定要把消息发送到哪个partition上,可以指定一样的key,这样这个key的消息在单个partition内是有序的。

注:当key为空时,消息随机发送到各个分区。规则再各个版本会有不同,有的是采用轮询方式,有的随机,有的是一定时间内发送给固定的partition,隔一段时间后随机换一个。

消费时:在一个消费者组中的多个消费者消费一个topic时,一个消费这组中只能有一个消费者消费该消息,topic下的每个分区只属于组中的一个消费者,因此是有序的。

相关推荐
棣廷32 分钟前
初识Spark Core
大数据·分布式·spark
凯凯姜9 小时前
分布式锁场景问题
分布式
starzy199010 小时前
Kafka源码深度剖析:消息有异常是如何处理的
大数据·kafka
每天一道题12 小时前
CAP、Raft 与多数派:分布式系统如何达成一致?
分布式·后端·微服务
方方洛15 小时前
ray教程-18-性能调优与反模式
人工智能·分布式·机器学习
starzy199015 小时前
Kafka写数据入口:消息进了Broker之后交给谁
大数据·kafka
螺蛳粉 螺蛳粉17 小时前
CDH第七篇:CDH 集成 Kafka 实战:CSD + Parcel 组合拳,先装 ZooKeeper 是铁律
物联网·zookeeper·kafka·消息队列·parcel·cdh集成·csd
每天一道题19 小时前
分布式锁真的安全吗?从 Redis 锁、Lease 到 Fencing Token
redis·分布式·安全
小O的算法实验室1 天前
IEEE TAES,多无人机通信故障下的分布式任务分配与压制干扰
分布式
Deng桑2 天前
分布式锁与幂等
分布式