[kafka]kafka如何保证消息有序

严格的说,kafka只能保证同一个分区内的消息存储的有序性。

这个问题并没有标准答案,面试官只是想看看你如何思考的。

1、kafka怎么保证消息的消费顺序。可以,但是代价太大了。

kafka只能保证单partition有序,如果kafka要保证多个partition有序,不仅broker保存的数据要保持顺序,消费时也要按序消费。假设partition1堵了,为了有序,那partition2以及后续的分区也不能被消费,这种情况下,kafka就退化成了单一队列,毫无并发性可言,极大降低系统性能。

因此kafka使用多partition的概念,并且只保证单partition有序。这样不同partition之间不会被干扰。

2、kafka保证消息顺序有2种方法

1)全局消费顺序:设置一个partition

2)局部消费顺序:多个partition局部有序

生产时:producer在把消息发送到partition的时候,当key非空时,用key的hash值对partition个数取模,决定要把消息发送到哪个partition上,可以指定一样的key,这样这个key的消息在单个partition内是有序的。

注:当key为空时,消息随机发送到各个分区。规则再各个版本会有不同,有的是采用轮询方式,有的随机,有的是一定时间内发送给固定的partition,隔一段时间后随机换一个。

消费时:在一个消费者组中的多个消费者消费一个topic时,一个消费这组中只能有一个消费者消费该消息,topic下的每个分区只属于组中的一个消费者,因此是有序的。

相关推荐
JH30737 小时前
《Redis 经典应用场景(一):缓存、分布式锁与限流》
redis·分布式·缓存
1.01^10007 小时前
[7-01-02].第10节:开发应用 - 配置Kafka中消费消息策略
kafka
熙客8 小时前
Elasticsearch:分布式搜索引擎数据库
分布式·elasticsearch·搜索引擎
Hello.Reader10 小时前
Spark RDD 编程从驱动程序到共享变量、Shuffle 与持久化
大数据·分布式·spark
陈果然DeepVersion12 小时前
Java大厂面试真题:Spring Boot+微服务+AI智能客服三轮技术拷问实录(四)
spring boot·redis·微服务·kafka·spring security·智能客服·java面试
小鹿学程序13 小时前
搭建hadoop集群
大数据·hadoop·分布式
web3.088899913 小时前
淘宝(全量)商品详情 API 的分布式请求调用实践
分布式
lijun_xiao200913 小时前
SpringCloud+RabbitMQ+Docker+Redis+搜索+分布式-学习笔记-1
分布式·spring cloud·rabbitmq
二宝15214 小时前
黑马商城day8-ES01
分布式·微服务·架构
shepherd12614 小时前
破局延时任务(下):Spring Boot + DelayQueue 优雅实现分布式延时队列(实战篇)
java·spring boot·分布式