RocketMQ提供了哪些过滤机制?

前言

本篇文章比较简单,分别介绍RocketMQ支持几种过滤机制,其原理和使用。

RocketMQ 提供了多种消息过滤机制,帮根据业务需求高效筛选消息,可以减少不必要的消息传输和处理。以下是其核心过滤机制及使用场景:


1. Tag 标签过滤

  • 原理
    每个消息发送时可附加一个 Tag(字符串标签),消费者订阅时指定一个或多个 Tag,Broker 会过滤出匹配 Tag 的消息投递给消费者。

  • 使用方式

    • 生产者 :发送消息时设置 setTags

      java 复制代码
      Message msg = new Message("TopicTest", "TagA", "Hello RocketMQ".getBytes());
    • 消费者 :订阅时指定 Tag(支持 * 表示全部,|| 表示或关系)。

      java 复制代码
      consumer.subscribe("TopicTest", "TagA || TagB");
  • 特点

    • 高效:Broker 端过滤,性能损耗低。
    • 简单:仅支持精确匹配,适用于简单分类场景(如订单状态分类)。

2. SQL92 属性过滤

  • 原理
    基于消息的 自定义属性(Key-Value) ,通过 SQL 表达式进行复杂条件过滤(如数值比较、逻辑运算)。需开启 Broker 的 enablePropertyFilter=true

  • 使用方式

    • 生产者 :为消息添加自定义属性。

      java 复制代码
      Message msg = new Message("TopicTest", "TagA", "Hello RocketMQ".getBytes());
      msg.putUserProperty("a", "10");
      msg.putUserProperty("b", "5");
    • 消费者 :订阅时编写 SQL 表达式。

      java 复制代码
      consumer.subscribe("TopicTest", MessageSelector.bySql("a > 5 AND b = '5'"));
  • 特点

    • 灵活 :支持复杂逻辑(如 >, <, BETWEEN, IS NULL 等)。
    • 性能损耗:相比 Tag 过滤略高,需评估表达式复杂度。

3. 类过滤(Class Filter)

  • 原理
    允许用户自定义 Java 类实现过滤逻辑,Broker 加载该类并调用其方法判断消息是否投递。适用于高度定制化的过滤需求。

  • 使用方式

    • 实现接口 :编写类实现 org.apache.rocketmq.common.filter.MessageFilter

      java 复制代码
      public class CustomFilter implements MessageFilter {
          @Override
          public boolean match(MessageExt msg, FilterContext context) {
              // 自定义过滤逻辑
              return msg.getUserProperty("region").equals("CN");
          }
      }
    • 部署类 :将编译后的类文件上传到 Broker 指定路径(需配置 filterSupportRetry=true)。

    • 消费者订阅 :指定过滤类名。

      java 复制代码
      consumer.subscribe("TopicTest", MessageSelector.byFilterClass("com.example.CustomFilter"));
  • 特点

    • 高度灵活:可编写任意复杂逻辑(如结合外部配置或数据库)。
    • 维护成本高:需管理类的版本和部署,适合有特殊需求的场景。

对比与选型建议

机制 性能 灵活性 适用场景
Tag 过滤 低(精确匹配) 简单分类(如订单状态、日志类型)
SQL92 复杂属性条件(如价格范围、地域)
类过滤 极高(自定义) 特殊逻辑(需动态规则或外部查询)

注意事项

  1. Broker 配置 :SQL 和类过滤需 Broker 开启支持(enablePropertyFilterfilterSupportRetry)。
  2. 版本兼容性:SQL92 过滤需 RocketMQ 4.3.0+,类过滤需 4.6.0+。
  3. 生产环境慎用类过滤:频繁更新过滤类可能导致服务中断,建议优先使用 Tag 或 SQL 过滤。

通过合理选择过滤机制,可以显著提升消息系统的效率和可维护性。

相关推荐
武子康2 小时前
大数据-243 离线数仓 - 实战电商核心交易增量导入(DataX - HDFS - Hive 分区
大数据·后端·apache hive
代码匠心2 天前
从零开始学Flink:Flink SQL四大Join解析
大数据·flink·flink sql·大数据处理
武子康3 天前
大数据-242 离线数仓 - DataX 实战:MySQL 全量/增量导入 HDFS + Hive 分区(离线数仓 ODS
大数据·后端·apache hive
SelectDB4 天前
易车 × Apache Doris:构建湖仓一体新架构,加速 AI 业务融合实践
大数据·agent·mcp
武子康4 天前
大数据-241 离线数仓 - 实战:电商核心交易数据模型与 MySQL 源表设计(订单/商品/品类/店铺/支付)
大数据·后端·mysql
IvanCodes4 天前
一、消息队列理论基础与Kafka架构价值解析
大数据·后端·kafka
武子康5 天前
大数据-240 离线数仓 - 广告业务 Hive ADS 实战:DataX 将 HDFS 分区表导出到 MySQL
大数据·后端·apache hive
字节跳动数据平台6 天前
5000 字技术向拆解 | 火山引擎多模态数据湖如何释放模思智能的算法生产力
大数据
武子康6 天前
大数据-239 离线数仓 - 广告业务实战:Flume 导入日志到 HDFS,并完成 Hive ODS/DWD 分层加载
大数据·后端·apache hive
阿里云云原生7 天前
秒触达、零资损:亲宝宝基于 RocketMQ 支撑千万家庭实时互动与成长记录
serverless·rocketmq