kafka 线上消费积压问题

背景

线上kafka 流量大,消费小于生产,如何处理?

方案

增加consumer数量

可以增加consumer的消费者,不过这个只能在一定程序上缓解,如果consumer 数量超过partition 数,那有的就会空转,解决不了问题,这种在线上直接扩容后端即可

重分配

在上面的基础上,可以把一个topic通过其它的方案,打散到多个分区,比如A topic 3个分区,通过flink 打散到新的topic 9个分区,然后扩容后的后端消费新的topic。这样可以不动老的topic ,方案灵活,效率高

增加分区数

在增加consumer这个方案的基础上,可以增加分区数,这个不建议,在线上修改。

调整consumer 参数

比如批量消费,一次多pull 几条,配置要支持动态调整

检查消费者的瓶颈

检查是不是本身消费数据有瓶颈,优化逻辑代码

相关推荐
苦学编程的谢1 天前
RabbitMQ_7_高级特性(4)
分布式·rabbitmq
赵榕1 天前
RabbitMQ发布订阅模式同一消费者多个实例如何防止重复消费?
分布式·微服务·rabbitmq
古城小栈1 天前
雾计算架构:边缘-云端协同的分布式 AI 推理
人工智能·分布式·架构
lang201509281 天前
Kafka高可用:延迟请求处理揭秘
分布式·kafka·linq
库库林_沙琪马1 天前
5、Seata
分布式·后端
lang201509281 天前
Kafka副本同步机制核心解析
分布式·kafka·linq
要开心吖ZSH1 天前
应用集成平台-系统之间的桥梁-思路分享
java·kafka·交互
lang201509281 天前
深入解析Kafka核心:Partition类源码揭秘
分布式·kafka·linq
Blossom.1181 天前
基于图神经网络+大模型的网络安全APT检测系统:从流量日志到攻击链溯源的实战落地
人工智能·分布式·深度学习·安全·web安全·开源软件·embedding
梦里不知身是客111 天前
spark如何调节jvm的连接等待时长
大数据·分布式·spark