RabbitMQ实践——超时消息的处理方法

大纲

在项目中,我们往往会遇到消息具有时效性:在一定时间内的消息需要处理,其他消息则不用处理。RabbitMQ提供了两种功能来满足这种需求:

  • 整个队列的消息都有相同的时效性。
  • 消息可以指定自己的超时时间。

对于超时的消息,我们可以选择抛弃,或者让其进入死信。本文我们将实验这些场景。

准备工作

我们先新建一个交换器direct.ttl。后续不同场景我们再设定其不同路由。

然后再创建一个死信队列queue.dead.letter

最后新建交换器direct.ttl和队列queue.dead.letter的路由绑定关系

后续我们将根据不同场景新建不同的队列和绑定关系。

整个队列的消息都有相同的时效性

抛弃超时消息

新建带x-message-ttl的队列

如果队列设置了x-message-ttl,则其全部消息的最大ttl就是其值。它的单位是毫秒。下图中,队列消息如果30秒没有处理,就会从队列中移除。

新建绑定关系

我们让交换器中Routing key是to.queue.all.message.ttl的消息路由到上面创建的队列中。

实验

向该交换器发送一条消息

消息出现在队列queue.all.message.ttl中。

半分钟后,该条消息从队列中消失。

超时消息路由到死信队列

不同于上例,只是设置了x-message-ttl,还要设置死信相关参数。本例我们将使用"重写Routing key"的方案,节省一次交换器的创建。

新建带死信和ttl的队列

新建名字是queue.all.msg.ttl.dead.letter的队列。这个队列中的所有消息的最大超时时间(x-message-ttl)是30秒;超时消息会被修改Routing key为to.queue.dead.letter后,使用direct.ttl交换器来路由。

新建绑定关系

将这个队列和之前新建的交换器direct.ttl关联。

实验


可以看到消息在过了30秒后,被从原来的队列queue.all.msg.ttl.dead.letter中移除,然后路由到死信队列queue.dead.letter中。

消息指定自己的超时时间

本例我们只实验相对复杂的场景,即将超时消息路由到死信。

新建带死信的队列

这个队列我们没有设置ttl相关数据,只是设置了死信相关配置:死信消息交由交换器direct.ttl处理,其Routing key被修改成to.queue.dead.letter。

绑定

实验

这次我们不能使用后台来发送消息,而是通过Java代码来发送。

java 复制代码
public void sendWithTTL(String exchangeName, String routingKey, String message, int ttl) {
    String msgId = UUID.randomUUID().toString();
    Message msg = MessageBuilder.withBody(message.getBytes())
            .setContentType("text/plain")
            .setCorrelationId(msgId)
            .setMessageId(msgId)
            .setExpiration(String.valueOf(ttl))
            .build();

    CorrelationData correlationData = new CorrelationData(msgId);
    rabbitTemplateWithoutMandatory.convertAndSend(exchangeName, routingKey, msg, correlationData);
}

发送消息时我们只需要给消息增加setExpiration调用即可。它的单位是毫秒,需要转换为字符串。

可以看到20秒后,消息从queue.with.dead.letter队列进入queue.dead.letter队列。

消息自带TTL和队列TTL的关系

如果一个自带TTL的消息被路由到一个所有消息都被队列指定TTL的队列上,那么哪个TTL生效呢?

我们用第二个案例的接口,给第一个案例的队列发送一个自带TTL的消息。

消息TTL < 队列指定TTL


可以看到消息在20秒时就进入了死信。

消息TTL > 队列指定TTL



可以看到消息在30秒时就进入了死信。

总结

如果队列指定TTL,消息也设置了TTL,取最接近当前时间的TTL。即用最短的那一个。

代码工程

https://github.com/f304646673/RabbitMQDemo

相关推荐
数智启示录3 小时前
Apache Kafka Consumer 扩到 40 个仍不提速:Partition 上限锁死有效并行度 【Kafka合集】
数据库·经验分享·分布式·缓存·面试·kafka·apache
数智启示录3 小时前
Apache Kafka 幂等 Producer 的边界:Exactly-Once 到了 MySQL 为什么失效 【Kafka合集】
数据库·经验分享·分布式·mysql·面试·kafka·apache
数智启示录4 小时前
Apache Kafka 不只是消息队列:日志与 Offset 分离如何让事件可重放 【Kafka合集】
经验分享·分布式·面试·kafka·apache
数智启示录4 小时前
Apache Kafka 同 Key 仍会乱序:从分区 Offset 到业务可见的四道边界 【Kafka 合集】
大数据·数据库·经验分享·分布式·面试·kafka·apache
BYSJMG4 小时前
大数据毕业设计选题推荐:基于大数据的全球气温历史演变分析与可视化,用Hadoop+Spark处理
大数据·hadoop·分布式·信息可视化·spark·kmeans·课程设计
爱吃苹果的梨叔4 小时前
AI 算力监控中心怎么建?分布式坐席 + 大屏联动 + 过程回放
人工智能·分布式·python
無a伟4 小时前
RabbitMQ :与AMQP的关系、核心组件、交换机类型
分布式·rabbitmq
jyOverQ9 小时前
RabbitMQ 消息积压怎么办?Prefetch、消费者并发与扩容
分布式·后端·rabbitmq
爱浦路 IPLOOK19 小时前
矿山无人化作业5G专网方案:企业专网核心网络选型分析
网络·分布式·科技·5g·信息与通信
实战派K8S&DB21 小时前
如何在内网配置 TiDB 数据库 Agent
数据库·人工智能·分布式·tidb