RocketMQ结合源码告诉你消息量大为啥不需要手动压缩消息

背景

最近同事发现线上发送的RocketMQ消息太大,同事为了节省网络带宽和存储空间,手动压缩消息然后再进行消息发送,发现磁盘也没有明显的缩减

所以我打算结合源码告诉他RocketMQ自带的消息压缩

同时听了发出了这个表情包

RocketMQ版本

  • 5.1.0

为什么需要压缩消息

首先说一下为什么需要消息压缩,原因其实很简单。就是为了节省网络带宽和存储空间。

在哪里压缩消息

我们的消息压缩可以在很多个地方进行

有两种方案

  1. 在client端进行压缩

比如我们可以在Producer发送消息的时候进行消息压缩

然后将压缩后的消息发送到Brokerbroker只管存储

等到consumer需要消息的时候,原封不动的推送给消费者,由consumer自己进行解压缩

这种方式的好处是broker不需要关心消息的压缩和解压缩,只需要存储消息即可

  1. 在broker端进行压缩

这种方式就是Producer发送消息的时候,不进行压缩

RocketMQ在存储的时候自己进行消息压缩,consumer进行消息拉取的时候,broker进行消息解压缩,然后推送给consumer

这种方式就是消耗broker cpu,也不能节省网络带宽,只能节省存储空间

所以很明显是在client端进行压缩比较好

源码分析

这里我们来具体结合源码分析下

在消息发送org.apache.rocketmq.client.impl.producer.DefaultMQProducerImpl.sendKernelImpl方法中会对消息进行压缩判断

tryToCompressMessage 消息压缩

什么消息会被压缩呢?

java 复制代码
    private boolean tryToCompressMessage(final Message msg) {
        if (msg instanceof MessageBatch) {
            //batch does not support compressing right now
            return false;
        }
        byte[] body = msg.getBody();
        if (body != null) {
            if (body.length >= this.defaultMQProducer.getCompressMsgBodyOverHowmuch()) {
                try {
                    byte[] data = compressor.compress(body, compressLevel);
                    if (data != null) {
                        msg.setBody(data);
                        return true;
                    }
                } catch (IOException e) {
                    log.error("tryToCompressMessage exception", e);
                    log.warn(msg.toString());
                }
            }
        }

        return false;
    }
  1. 批量消息不支持压缩
  2. 消息体长度大于defaultMQProducer.getCompressMsgBodyOverHowmuch()的时候进行压缩。默认1024 * 4 = 4kb
  3. 压缩算法是什么呢?

RocketMQ目前提供三种压缩算法

  • LZ4
  • ZSTD
  • ZLIB

默认压缩算法为ZLIB

java 复制代码
    private CompressionType compressType = CompressionType.of(System.getProperty(MixAll.MESSAGE_COMPRESS_TYPE, "ZLIB"));

压缩等级为5

java 复制代码
private int compressLevel = Integer.parseInt(System.getProperty(MixAll.MESSAGE_COMPRESS_LEVEL, "5"));
  1. 消息压缩完后会通过sysFlag进行标记,表示消息进行了压缩,方便后续解压
java 复制代码
                    sysFlag |= MessageSysFlag.COMPRESSED_FLAG;
                    sysFlag |= compressType.getCompressionFlag();

消息解压

消息解压主要是在方法org.apache.rocketmq.common.message.MessageDecoder.decode(java.nio.ByteBuffer, boolean, boolean, boolean, boolean, boolean)中进行的

client拉取到消息成功后对PullResult对象进行处理执行decodesBatch方法

消息解析decodesBatch方法会调用org.apache.rocketmq.common.message.MessageDecoder.decode(java.nio.ByteBuffer, boolean, boolean, boolean, boolean, boolean)方法

decode方法会对消息进行解压

总结

  • 消息压缩主要是为了节省网络带宽和存储空间。
  • RocketMQ提供了三种压缩算法,分别是LZ4ZSTDZLIB,默认为ZLIB
  • 消息压缩主要是在Producer发送消息的时候进行压缩,broker只管存储
  • 消息解压主要是在Consumer拉取消息的时候进行解压
  • RocketMQ消息压缩仅支持单条消息压缩,不支持批量消息压缩
  • 一般消息压缩都会选择在client端进行压缩,这样可以节省broker的cpu
相关推荐
服务端技术栈15 分钟前
电商营销系统中的幂等性设计:从抽奖积分发放谈起
后端
你的人类朋友42 分钟前
✍️Node.js CMS框架概述:Directus与Strapi详解
javascript·后端·node.js
面朝大海,春不暖,花不开1 小时前
自定义Spring Boot Starter的全面指南
java·spring boot·后端
钡铼技术ARM工业边缘计算机2 小时前
【成本降40%·性能翻倍】RK3588边缘控制器在安防联动系统的升级路径
后端
CryptoPP2 小时前
使用WebSocket实时获取印度股票数据源(无调用次数限制)实战
后端·python·websocket·网络协议·区块链
白宇横流学长2 小时前
基于SpringBoot实现的大创管理系统设计与实现【源码+文档】
java·spring boot·后端
草捏子3 小时前
状态机设计:比if-else优雅100倍的设计
后端
考虑考虑4 小时前
Springboot3.5.x结构化日志新属性
spring boot·后端·spring
涡能增压发动积4 小时前
一起来学 Langgraph [第三节]
后端
sky_ph5 小时前
JAVA-GC浅析(二)G1(Garbage First)回收器
java·后端