kafka 线上消费积压问题

背景

线上kafka 流量大,消费小于生产,如何处理?

方案

增加consumer数量

可以增加consumer的消费者,不过这个只能在一定程序上缓解,如果consumer 数量超过partition 数,那有的就会空转,解决不了问题,这种在线上直接扩容后端即可

重分配

在上面的基础上,可以把一个topic通过其它的方案,打散到多个分区,比如A topic 3个分区,通过flink 打散到新的topic 9个分区,然后扩容后的后端消费新的topic。这样可以不动老的topic ,方案灵活,效率高

增加分区数

在增加consumer这个方案的基础上,可以增加分区数,这个不建议,在线上修改。

调整consumer 参数

比如批量消费,一次多pull 几条,配置要支持动态调整

检查消费者的瓶颈

检查是不是本身消费数据有瓶颈,优化逻辑代码

相关推荐
隔壁小邓44 分钟前
TIDB分布式数据库
数据库·分布式·tidb
蜜獾云44 分钟前
Kafka(2)-kafka架构-基本原理
分布式·架构·kafka
隔叶听风1 小时前
RocketMQ 与 Kafka 长轮询详解
数据库·kafka·rocketmq
IvanCodes1 小时前
二、Kafka核心架构与分布式存储
大数据·分布式·架构·kafka
indexsunny1 小时前
互联网大厂Java面试实录:Spring Boot与微服务在电商场景中的应用解析
java·spring boot·面试·kafka·spring security·电商·microservices
空空潍1 小时前
【超详细】RabbitMQ安装延迟消息插件
分布式·rabbitmq
逻极1 小时前
Temporal 完全指南:分布式应用的后台“总指挥”
分布式·微服务·wpf·消息中间件·temporal
deng-c-f1 小时前
Linux C/C++ 学习日记(73):Kafka(一):基本介绍
分布式·学习·kafka
Moshow郑锴1 小时前
Spark与Prophecy综合比较&&推荐Prophecy的理由
大数据·分布式·spark
柏木乃一2 小时前
Linux线程(6)生产消费者模型
linux·运维·服务器·c++·分布式·线程·生产消费