kafka 线上消费积压问题

背景

线上kafka 流量大,消费小于生产,如何处理?

方案

增加consumer数量

可以增加consumer的消费者,不过这个只能在一定程序上缓解,如果consumer 数量超过partition 数,那有的就会空转,解决不了问题,这种在线上直接扩容后端即可

重分配

在上面的基础上,可以把一个topic通过其它的方案,打散到多个分区,比如A topic 3个分区,通过flink 打散到新的topic 9个分区,然后扩容后的后端消费新的topic。这样可以不动老的topic ,方案灵活,效率高

增加分区数

在增加consumer这个方案的基础上,可以增加分区数,这个不建议,在线上修改。

调整consumer 参数

比如批量消费,一次多pull 几条,配置要支持动态调整

检查消费者的瓶颈

检查是不是本身消费数据有瓶颈,优化逻辑代码

相关推荐
giaz14n9X1 天前
Redis 分布式锁进阶第六十三篇
分布式
ha_lydms1 天前
AnalyticDB分区、分布键性能优化
android·大数据·分布式·性能优化·分布式计算·分区·analyticdb
pqk6V6Vep1 天前
Redis 分布式锁进阶第一篇讲解
数据库·redis·分布式
梦想的颜色1 天前
Kafka内核解密:架构拓扑、数据流转与生产消费模型的深度剖析
kafka·高并发·多线程·异步·消息组件·生产者与消费者模式
giaz14n9X1 天前
Redis 分布式锁进阶第六十一篇
数据库·redis·分布式
洛水水1 天前
消息队列与Kafka详解
分布式·kafka
鸿乃江边鸟1 天前
Spark中怎么做Spark canonicalize归一化
大数据·分布式·spark
SLD_Allen1 天前
Kafka分区与消费者的关系kafka分区和消费者线程的关系
分布式·kafka
he___H1 天前
数据密集型应用系统设计--其一
分布式
珠***格2 天前
Ⅱ型边缘网关|易部署、易扩容、易改造
大数据·人工智能·分布式·能源·边缘计算