RabbitMQ消息积压比较厉害,然后突然丢弃

RabbitMQ中的消息积压陡降通常表明某些突发事件或操作已经显著减少了队列中的消息数量。这种现象可能由多种原因引起,以下是一些可能的原因及其解释:

  1. 消费者处理速度突然增加
    原因: 你的消费者(消费者应用或服务)可能在某个时间点突然加快了消息处理速度。这可能是由于增加了消费者实例,提升了消费者处理能力,或者优化了消费者代码。
    解决方案: 检查最近是否有任何与消费者相关的更改或调整,例如部署了新的消费者实例或修改了代码。
  2. 消费者重新启动或恢复
    原因: 如果消费者之前处于停滞或休眠状态,当它们重新启动或恢复正常运行时,会迅速处理积压的消息。
    解决方案: 检查消费者的运行状态日志,看看是否有任何重新启动或恢复的记录。
  3. 队列中的消息被清空或删除
    原因: 有人可能手动清空或删除了队列,导致消息积压陡降。
    解决方案: 检查RabbitMQ管理控制台或相关日志,看看是否有任何清空或删除队列的操作记录。
  4. 消息过期或被丢弃
    原因: 如果你的消息有TTL(Time-To-Live)设置,超过存活时间的消息会被自动丢弃,从而导致积压陡降。
    解决方案: 检查队列的TTL设置以及是否有消息过期的情况。
  5. 消息被重新路由到死信队列
    原因: 消息可能由于无法被正常处理而被重新路由到死信队列(Dead Letter Queue)。
    解决方案: 检查是否有配置死信队列,并查看死信队列的状态和日志。
  6. 突发的消息消费需求
    原因: 某个消费者可能突然需要大量处理消息,从而导致消息积压陡降。
    解决方案: 检查系统或应用日志,看看是否有任何突发的消息处理需求。
    排查步骤
    检查消费者状态: 查看所有消费者的运行状态和日志,确认是否有消费者重新启动、恢复或优化。
    查看RabbitMQ管理控制台: 检查是否有手动操作清空或删除队列,或者是否有过期消息被丢弃。
    检查队列配置: 确认队列是否有TTL设置,以及是否有死信队列配置。
    监控和日志: 查看相关的监控系统和日志,寻找异常事件或操作的痕迹。
  • 消息 ready 总数
    在 RabbitMQ 中,"消息 ready 总数" 指的是当前队列中已经准备好等待消费的消息数量。这些消息已经被生产者发布到队列中,并且满足了可以被消费者处理的条件,例如没有被其他消费者锁定并且满足了消费者的订阅条件(例如路由规则)。
    具体来说,消息 ready 总数表示了当前处于队列中、等待消费者获取并处理的消息的数量。这个指标通常在监控和管理 RabbitMQ 队列时使用,帮助管理员和开发者了解当前队列的负载情况、消息处理速度以及潜在的性能问题。

如果消息 ready 总数较高,可能意味着消费者处理速度不足以跟上生产者发布消息的速度,或者消费者的某些操作(例如网络延迟、处理时间过长等)导致了消息积压。这时候可能需要考虑调整消费者的数量、增加消费者的处理能力,或者优化消费者的处理逻辑,以确保队列中的消息能够及时被处理。

总结来说,RabbitMQ 中的消息 ready 总数是一个重要的监控指标,用来衡量队列中处于可消费状态的消息数量,从而帮助管理者和开发者优化系统的性能和稳定性。

  • 最终原因
    定时任务批量生产消息,用于数据同步,部分数据处理发生异常,导致当批次消息消费失败,消息阻塞。
    后续消息还在生产,导致消息积压。
    积压之后么,客户端一直报错,MQ客户端最后和服务器连接失败------MQ client 挂了。
    因为客户端不消费消息了,消息从 unAck 状态变为为 ready 状态,消息并未消失。
    从新启动客户端之后,消息会从 ready 变为 unAck ,从新被客户端消费。
相关推荐
qq_12498707538 小时前
基于Hadoop的信贷风险评估的数据可视化分析与预测系统的设计与实现(源码+论文+部署+安装)
大数据·人工智能·hadoop·分布式·信息可视化·毕业设计·计算机毕业设计
洛豳枭薰10 小时前
消息队列关键问题描述
kafka·rabbitmq·rocketmq
Coder_Boy_10 小时前
基于Spring AI的分布式在线考试系统-事件处理架构实现方案
人工智能·spring boot·分布式·spring
袁煦丞 cpolar内网穿透实验室11 小时前
远程调试内网 Kafka 不再求运维!cpolar 内网穿透实验室第 791 个成功挑战
运维·分布式·kafka·远程工作·内网穿透·cpolar
人间打气筒(Ada)12 小时前
GlusterFS实现KVM高可用及热迁移
分布式·虚拟化·kvm·高可用·glusterfs·热迁移
xu_yule12 小时前
Redis存储(15)Redis的应用_分布式锁_Lua脚本/Redlock算法
数据库·redis·分布式
難釋懷16 小时前
分布式锁的原子性问题
分布式
ai_xiaogui17 小时前
【开源前瞻】从“咸鱼”到“超级个体”:谈谈 Panelai 分布式子服务器管理系统的设计架构与 UI 演进
服务器·分布式·架构·分布式架构·panelai·开源面板·ai工具开发
凯子坚持 c17 小时前
如何基于 CANN 原生能力,构建一个支持 QoS 感知的 LLM 推理调度器
分布式