kafka如何保证消息不丢失 不重复消费 消息的顺序

如何保证消息的不丢失

消息为什么会丢失

想要保证消息不丢失就要首先知道消息为什么会丢失,在哪个环节会丢失,然后在丢失的环节做处理

1.生产者生产消息发送到broker,broker收到消息后会给生产者发送一个ack指令.生产者接收到broker发送成功的指令,这个时候我们就可以认为消息发送成功了.没有接收到ack指令我们就认为消息发送失败.

bash 复制代码
 public <T,Throwable> void sendEventByKafka(String topic, String content ,T t, KafkaSendErrorCallback<T, java.lang.Throwable> function) {
        kafkaTemplate.send(topic, content).addCallback(success -> {
            log.info("执行kafka消息发送kafka成功!");
            log.info(content);
        }, failure -> {
            log.error("执行kafka消息发送kafka失败!");
            //失败的消息保存到消息表
            function.saveMqDb(t,failure);
        });
    }

上述的逻辑有个前提条件就是,确定broker确实是接受并保存了消息.需要设置ack的级别

acks=0(不等待确认):

在这种模式下,生产者发送消息后不会等待来自Broker的任何确认。它会立即继续发送下一条消息。

这是最低延迟的选项,但也是最不可靠的,因为生产者无法知道消息是否已经成功到达Broker。

acks=1(Leader确认):

在这种模式下,生产者发送消息后会等待Broker的领导者(Leader)确认。领导者会确认消息已经被接收,但不一定已经被完全复制到所有的副本。

这种模式提供了一定程度的可靠性,因为生产者知道消息至少已经被领导者接收,但仍然可能丢失消息,因为它们可能还没有被复制到其他副本。

acks=all(全部确认):

这是最可靠的确认模式,在这种模式下,生产者发送消息后会等待所有的ISR(In-Sync Replicas,同步副本)确认。ISR是分区的所有副本中与领导者保持同步的副本集合。

在这种模式下,消息只有在被领导者和所有同步副本都确认接收后才被视为已提交。这确保了消息的可靠性。

如何保证不重复消费

2.不重复消费,在处理业务时,用唯一建来处理,如果没有唯一建,可以借助消息表来做,处理完了之后给这条消息打个已处理的标记.

.消费者接受消息处理业务给broker发送ack,broker认为消息消费成功,删除这条消息

bash 复制代码
    @KafkaListener(id = KafkaConstants.MESSAGE_GROUP, topics = KafkaConstants.MESSAGE_TOPIC, concurrency = "5")
    public void listen(ConsumerRecord<?, ?> record, Acknowledgment acknowledgment) {
       try{
           //处理业务数据
       }catch (Exception e){
           //消费失败后的处理,保存到消息表
       }finally {
           //ack确认
           acknowledgment.acknowledge();
       }

    }

如何保证消息的顺序

为什么顺序会乱.kafka在生产者生产消息的时候使我们代码控制的,可以保证顺序,比如付款成功后我先发送一个修改订单状态的消息,再发送一个扣减库存的消息,再发送一个物流通知的消息 一个topic 一个partion 代码写入的顺序就是消息的顺序.如果只有一个消费者监听一个partion也是可以保证顺序的.但是多个消费者监听同一个partion消费者2执行完成 消费者1.3还没有执行.这样顺序就乱了.

一个 topic,一个 partition,一个 consumer,内部单线程消费,单线程吞吐量太低,一般不会用这个。

写 N 个内存 queue,具有相同 key 的数据都到同一个内存 queue;然后对于 N 个线程,每个线程分别消费一个内存 queue 即可,这样就能保证顺序性。(我们就是这么干的,相同的key的数据在一个队列里面,然后使用多线程开worker按照key不同进行分别消费)

相关推荐
筑梦之人18 小时前
Elasticsearch 9.x 从入门到精通(5/7):集群、分布式与运维
运维·分布式·elasticsearch
kiwixing2 天前
GaussDB|集中式还是分布式?三把尺子选型
分布式·gaussdb
真上帝的左手2 天前
30. 技术专题-‌应用框架组件-分布式架构
分布式·架构·系统架构·分布式架构
zixu_star3 天前
从单机到分布式:定时任务如何处理大量数据与执行失败?
分布式
lsc_blog3 天前
听到优化风声,先准备能由自己掌控的事
数据库·分布式·中间件·职场和发展·重构
Lansonli5 天前
大数据Spark(八十七):Spark-Submit 参数详解
大数据·分布式·spark
qq_452396235 天前
第二篇:《CommitLog + ConsumeQueue:一条日志解决 Kafka 多分区随机写的难题》
分布式·kafka
Alluxio5 天前
Alluxio + OCI:为 AI 工作负载实现亚毫秒访问延迟与可扩展吞吐
运维·数据库·人工智能·分布式·缓存·ai·语言模型
阿卡好可爱6 天前
Lua 热更新不生效:改完文件线上仍是旧逻辑,package.loaded 与 upvalue 重绑定详解
数据结构·分布式·后端·架构·lua
我不会起名字3226 天前
消费回调固定 return nil:错误传播与 Kafka 位点提交的区别
后端·mongodb·kafka·go·im·故障排查