记一次rabbitmq消息发送成功,消费丢失问题

记一次rabbitmq消息发送成功,消费丢失问题

背景

测试数据归档,偶现数据未归档

排查

idea线上调试,log日志,数据库消息发送记录,代码分块重复执行看哪块出的问题,结果均无问题,最后使用rabbitmq trace日志,发现问题所在

如何查看rabbitmq日志,Rabbitmq Trace日志的使用

1. 什么是Trace

Trace 是Rabbitmq用于记录每一次发送的消息,方便使用Rabbitmq的开发者调试、排错。可通过插件形式提供可视化界面

2. Trace实现概况

1、Trace启动后会自动创建系统Exchange:amq.rabbitmq.trace

2、每个队列会自动绑定该Exchange,绑定后发送到队列的消息都会记录到Trace日志

3. 查看列表

复制代码
rabbitmq-plugins list

4. 启动Trace插件

复制代码
rabbitmqctl trace_on

5. 启动日志插件命令

复制代码
rabbitmq-plugins enable rabbitmq_tracing

6. 到管理页面添加Tracing,没有请执行4、5后重启rabbitmq

点击"Admin"菜单,右边会多出一个"Tracing"的菜单,填写Name、Format、Max payload bytes、Pattern 然后点击"添加Add trace"即可添加一个日志

日志可直接点击查看

Name:自定义,建议标准点容易区分

Format:表示输出的消息日志格式,有Text和JSON两种,Text格式的日志方便人类阅读,JSON的方便程序解析。

JSON格式的payload(消息体)默认会采用Base64进行编码,如上面的"trace test payload."会被编码成"dHJhY2UgdGVzdCBwYXlsb2FkLg=="。

Max payload bytes:表示每条消息的最大限制,单位为B。比如设置了了此值为10,那么当有超过10B的消息经过Rabbit MQ流转时,在记录到trace文件的时候会被截断。

如上text日志格式中"trace test payload."会被截断成"trace test"。

Pattern:用来设置匹配的模式,和Firehose的类似。如"#"匹配所有消息流入流出的情况,即当有客户端生产消息或者消费消息的时候,会把相应的消息日志都记录下来;

"publish.#"匹配所有消息流入的情况;"deliver.#"匹配所有消息流出的情况;"publish.exchange.b2b.gms.ass"只匹配发送者(Exchanges)为exchange.b2b.gms.ass的所有消息流入的情况。

结论

多出一台测试服务器,数据被老代码消费,解决方式,结束多余服务器的服务

防止以后再次发生,可以更换消息模式

代码消费,解决方式,结束多余服务器的服务

防止以后再次发生,可以更换消息模式

相关推荐
夫唯不争,故无尤也21 小时前
分布式训练全栈地图
分布式·ddp·fsdp·ray·verl
国科安芯1 天前
星载CAN总线通信网络中抗辐射MCU的通信可靠性设计分析
网络·人工智能·分布式·单片机·嵌入式硬件·架构
随遇而安zx1 天前
SpringCloud---Spring Cloud 分布式任务调度(XXL-Job / ElasticJob)
分布式·spring cloud
天远Date Lab1 天前
分布式微服务实战:基于天远车辆估值构建自动化车价评估网关
人工智能·分布式·微服务·自动化
随遇而安zx1 天前
SpringCloud 分布式链路追踪 设计思想与源码深度解析
分布式·spring cloud
迪飞特科技1 天前
分布式事务下 Spring 声明式事务失效的 3 种修复方案
分布式·spring·wpf
JAVA面经实录9171 天前
RabbitMQ 完整面试题答案
java·rabbitmq·java-rabbitmq
这个DBA有点耶2 天前
2026年分布式数据库有哪些主流选择?先评估这5个维度再决定
数据库·分布式·dba
pnoker3 天前
IoT DC3 消息总线:六适配器可插拔设计
物联网·架构·kafka·消息队列·rabbitmq
Lost of 程序猿3 天前
ASP.NET Core Saga 分布式事务深度实战:备件采购跨服务长流程,如何保证“要么全成,要么全回“
分布式·后端·asp.net