kafka单条消息过大发送失败

一、背景

生产环境中使用kafka作为消息队列,生产者发送消息失败,查询报错日志,得到如下输出:

Caused by: org.springframework.kafka.KafkaException: Send failed; nested exception is org.apache.kafka.common.errors.RecordTooLargeException: The message is 4067035 bytes when serialized which is larger than 1048576, which is the value of the max.request.size configuration.

这个错误信息表明生产者尝试发送到Kafka的消息在序列化后大小为4067035字节(约4MB),超过了Kafka配置中的max.request.size参数的限制,该参数当前设置为1048576字节(1MB)

二、原因

排查kafka的max.request.size

排查发现最大的请求大小为10485760字节(10M)

排查springboot配置文件中max.request.size的值

项目中没有配置这个值

排查springboot默认kafka的max.request.size值

springboot中Kafka消息队列的默认max.request.size值通常是1048576字节,即1MB

好了就是这个原因了

三、修改方案

要解决这个问题,通常有以下几种选择:

1. 增加kafka本身的message.max.bytes配置

java 复制代码
message.max.bytes=10485760 # 10MB

当然也可以为特定的主题设置这个值:

bash 复制代码
kafka-topics.sh --alter --zookeeper localhost:2181 --topic your_topic --config max.message.bytes=10485760 

2. 增加生产者max.request.size配置

如果是代码则配置如下

java 复制代码
Properties props = new Properties();
props.put("bootstrap.servers", "localhost:9092");
props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");
props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");
props.put("max.request.size", 10485760 ); // 10MB

如果是yml 文件则配置如下

java 复制代码
spring:
  kafka:
    producer:
      properties:
        max.request.size: 10485760 

3. 增加消费者的fetch.max.bytesmax.partition.fetch.bytes配置

如果是代码则配置如下

java 复制代码
Properties props = new Properties();
props.put("bootstrap.servers", "localhost:9092");
props.put("group.id", "test-group");
props.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
props.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
props.put("fetch.max.bytes", 10485760); // 10MB
props.put("max.partition.fetch.bytes", 10485760); // 10MB

如果是yml 文件则配置如下

bash 复制代码
spring:
  kafka:
    consumer:
      properties:
        fetch.max.bytes: 10485760
        max.partition.fetch.bytes: 10485760

4. 分割消息

如果消息非常大,可能需要考虑将其分割成较小的部分,然后在消费者端重新组装。这种方法可以避免配置过大的消息大小限制。

5.生产者压缩消息

你可以启用消息压缩来减少消息的大小。Kafka支持多种压缩算法,如gzip、snappy、lz4等。我们可以在生产者配置中启用压缩:

如果是代码则配置如下:

java 复制代码
Properties props = new Properties();
props.put("bootstrap.servers", "localhost:9092");
props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");
props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");
props.put("compression.type", "gzip");

如果是yml 文件则配置如下

java 复制代码
spring:
  kafka:
    producer:
      properties:
        compression.type: gzip
相关推荐
Cxzzzzzzzzzz2 小时前
RabbitMQ 在实际开发中的应用场景与实现方案
分布式·rabbitmq
在未来等你2 小时前
Kafka面试精讲 Day 16:生产者性能优化策略
大数据·分布式·面试·kafka·消息队列
王大帅の王同学3 小时前
Thinkphp6接入讯飞星火大模型Spark Lite完全免费的API
大数据·分布式·spark
一氧化二氢.h5 小时前
通俗解释redis高级:redis持久化(RDB持久化、AOF持久化)、redis主从、redis哨兵、redis分片集群
redis·分布式·缓存
爱睡觉的圈圈8 小时前
分布式IP代理集群架构与智能调度系统
分布式·tcp/ip·架构
APItesterCris11 小时前
构建分布式京东商品数据采集系统:基于 API 的微服务实现方案
分布式·微服务·架构
free12 小时前
基于librdkafa C++客户端生产者发送数据失败问题处理#2
c++·kafka
不吃饭的猪12 小时前
kafka启动小脚本
分布式·kafka
休息一下接着来12 小时前
MinIO 分布式模式与纠删码
分布式·minio
胆怯的ai萌新13 小时前
论文阅读/博弈论/拍卖:《Truthful Auction for Cooperative Communications》
分布式·信息与通信