kafka 线上消费积压问题

背景

线上kafka 流量大,消费小于生产,如何处理?

方案

增加consumer数量

可以增加consumer的消费者,不过这个只能在一定程序上缓解,如果consumer 数量超过partition 数,那有的就会空转,解决不了问题,这种在线上直接扩容后端即可

重分配

在上面的基础上,可以把一个topic通过其它的方案,打散到多个分区,比如A topic 3个分区,通过flink 打散到新的topic 9个分区,然后扩容后的后端消费新的topic。这样可以不动老的topic ,方案灵活,效率高

增加分区数

在增加consumer这个方案的基础上,可以增加分区数,这个不建议,在线上修改。

调整consumer 参数

比如批量消费,一次多pull 几条,配置要支持动态调整

检查消费者的瓶颈

检查是不是本身消费数据有瓶颈,优化逻辑代码

相关推荐
打工的小王2 小时前
消息队列之Kafka(一)搭建服务
分布式·kafka
鸡蛋豆腐仙子3 小时前
redis及实现分布式锁的原理
java·redis·分布式·学习·缓存
DemonAvenger3 小时前
Kafka高可用设计揭秘:副本机制与选举策略的实践之道
性能优化·kafka·消息队列
蒸蒸yyyyzwd4 小时前
分布式学习笔记 p5-13
笔记·分布式·学习
好家伙VCC4 小时前
**发散创新:用 Rust构建多智能体系统,让分布式协作更高效**在人工智能快速演进的今天,**多智能体系统(
java·人工智能·分布式·python·rust
C澒4 小时前
从单体到分布式:SLDS 2.0 全球物流履约网络架构演进之路
前端·分布式·架构·系统架构·教育电商·交通物流
Jack_David4 小时前
kafka_2.13-4.1.1集群安装
java·分布式·kafka
愿你天黑有灯下雨有伞4 小时前
Spring Boot 整合 Kafka:生产环境标准配置与最佳实践
java·kafka
jiuweiC6 小时前
kafka重平衡问题-golang
分布式·golang·kafka
你这个代码我看不懂14 小时前
@RefreshScope刷新Kafka实例
分布式·kafka·linq