kafka 线上消费积压问题

背景

线上kafka 流量大,消费小于生产,如何处理?

方案

增加consumer数量

可以增加consumer的消费者,不过这个只能在一定程序上缓解,如果consumer 数量超过partition 数,那有的就会空转,解决不了问题,这种在线上直接扩容后端即可

重分配

在上面的基础上,可以把一个topic通过其它的方案,打散到多个分区,比如A topic 3个分区,通过flink 打散到新的topic 9个分区,然后扩容后的后端消费新的topic。这样可以不动老的topic ,方案灵活,效率高

增加分区数

在增加consumer这个方案的基础上,可以增加分区数,这个不建议,在线上修改。

调整consumer 参数

比如批量消费,一次多pull 几条,配置要支持动态调整

检查消费者的瓶颈

检查是不是本身消费数据有瓶颈,优化逻辑代码

相关推荐
槁***耿34 分钟前
后端分布式事务解决方案,Seata与Hmily对比
分布式
1***y17835 分钟前
PySpark RDD编程实战,分布式数据处理
分布式
冰芒芒2 小时前
Kafka - 4 Kafka的副本同步机制
分布式·kafka
ZVAyIVqt0UFji4 小时前
Kafka 消费积压影响写入?试试 Pulsar
分布式·kafka
百***98814 小时前
RabbitMQ 的介绍与使用
分布式·rabbitmq·ruby
跟着珅聪学java4 小时前
Kafka 报错 No readable meta.properties files found解决方案
分布式·kafka
q***84575 小时前
Spring Boot集成Kafka:最佳实践与详细指南
spring boot·kafka·linq
U***49835 小时前
SpringBoot集成Kafka,高吞吐消息处理
spring boot·后端·kafka
梦里不知身是客116 小时前
kafka 消费者之分区分配策略
分布式·kafka