发送失败的RocktMQ消息,你遇到过吗?

背景

需要通过flink同时向测试和线上的RocketMQ中写入数据

现象

在程序中分别创建了两个MqProducer,设置了不同的nameServerAddr,分别调用不同的producer向不同环境发消息,返回发送成功,但是在线上MQ中却查不到数据,测试环境是有的。 代码如下:

java 复制代码
private DefaultMQProducer testEnvProducer;
private DefaultMQProducer prodEnvProducer;
@Override
public void open(Configuration parameters) throws Exception {
    if (testEnvProducer == null) {
        testEnvProducer = new DefaultMQProducer("_test");
        testEnvProducer.setNamesrvAddr(SINK_ADDRESS);
        testEnvProducer.start();
    }
    if (prodEnvProducer == null) {
        prodEnvProducer = new DefaultMQProducer("_prod");
        prodEnvProducer.setNamesrvAddr(SOURCE_ADDRESS);
        prodEnvProducer.start();
    }
}

解决过程及方案

由于不了解flink的运行机制,尝试将发送MQ的逻辑拆分为两个sink,无济于事,在中间遇到了创建DefaultMQProducer时设置的是同一个group,理论上是不同的环境不会有问题,prodProducer在start时却报该group的实例已经创建,当时就有点怀疑是不是两个producer是同一个。后又通过在消息体中增加profile明确区分开线上和测试的数据,发现应该发送到线上的数据却发送到了测试环境,此时断定是两个producer为同一个实例。

查看RocketMQ Client源码发现了factory这个参数

那问题大概率就是这个工厂导致的,工厂内做了缓存,让我们来看一看

内部通过构建了ClientId,再通过clinetId去缓存中查询是否有对应实例,有则直接返回,此时我们肯定要看一看构造clientId是否有可定义的参数

得知是通过ip及instanceName等参数构造的,instanceName又是系统变量,那我们需要做的就是在创建producer实例之前先修改该系统变量,修改后问题解决

java 复制代码
public void open(Configuration parameters) throws Exception {
    if (testEnvProducer == null) {
        //需要覆盖该环境变量,因为mq client有内部缓存,使用了该环境变量作为获取client instance的条件,详情见 org.apache.rocketmq.client.ClientConfig#buildMQClientId
        System.setProperty("rocketmq.client.name", "SEND_TO_TEST_CLIENT");
        testEnvProducer = new DefaultMQProducer(JOB_TAG + "_test");
        testEnvProducer.setNamesrvAddr(SINK_ADDRESS);
        testEnvProducer.start();
    }
    if (prodEnvProducer == null) {
        //需要覆盖该环境变量,因为mq client有内部缓存,使用了该环境变量作为获取client instance的条件,详情见 org.apache.rocketmq.client.ClientConfig#buildMQClientId
        System.setProperty("rocketmq.client.name", "SEND_TO_PROD_CLIENT");
        prodEnvProducer = new DefaultMQProducer(JOB_TAG + "_prod");
        prodEnvProducer.setNamesrvAddr(SOURCE_ADDRESS);
        prodEnvProducer.start();
    }
}

大家在实际开发中如果有这种场景的话也要注意哦!

相关推荐
hai99long1 分钟前
最终一致性分布式事务的解决方案
后端
独立开阀者_FwtCoder6 分钟前
国外最流行的 UI 组件库!适配 Vue、React、Angular!
前端·vue.js·后端
勇哥java实战分享9 分钟前
聊聊 RocketMQ 4.X 知识体系
后端
CodeSheep14 分钟前
小米汽车这薪资是认真的吗?
前端·后端·程序员
今天背单词了吗98017 分钟前
算法学习笔记:8.Bellman-Ford 算法——从原理到实战,涵盖 LeetCode 与考研 408 例题
java·开发语言·后端·算法·最短路径问题
天天摸鱼的java工程师19 分钟前
使用 Spring Boot 整合高德地图实现路线规划功能
java·后端
阿杆21 分钟前
😡同事查日志太慢,我现场教他一套 grep 组合拳!
linux·后端
PetterHillWater22 分钟前
基于Trae智能复杂项目重构实践
后端·aigc
凌览36 分钟前
有了 25k Star 的MediaCrawler爬虫库加持,三分钟搞定某红书、某音等平台爬取!
前端·后端·python
这里有鱼汤1 小时前
给你的DeepSeek装上实时行情,让他帮你炒股
后端·python·mcp