kafka 线上消费积压问题

背景

线上kafka 流量大,消费小于生产,如何处理?

方案

增加consumer数量

可以增加consumer的消费者,不过这个只能在一定程序上缓解,如果consumer 数量超过partition 数,那有的就会空转,解决不了问题,这种在线上直接扩容后端即可

重分配

在上面的基础上,可以把一个topic通过其它的方案,打散到多个分区,比如A topic 3个分区,通过flink 打散到新的topic 9个分区,然后扩容后的后端消费新的topic。这样可以不动老的topic ,方案灵活,效率高

增加分区数

在增加consumer这个方案的基础上,可以增加分区数,这个不建议,在线上修改。

调整consumer 参数

比如批量消费,一次多pull 几条,配置要支持动态调整

检查消费者的瓶颈

检查是不是本身消费数据有瓶颈,优化逻辑代码

相关推荐
Asher050924 分钟前
Hadoop核心技术与实战指南
大数据·hadoop·分布式
凉凉的知识库1 小时前
Go中的零值与空值,你搞懂了么?
分布式·面试·go
?Anita Zhang1 小时前
联邦学习实战:如何在分布式场景下构建隐私保护机器学习模型
人工智能·分布式·机器学习
tony3651 小时前
pytorch分布式训练解释
人工智能·pytorch·分布式
予枫的编程笔记1 小时前
【Kafka高级篇】Kafka监控不踩坑:JMX指标暴露+Prometheus+Grafana可视化全流程
kafka·grafana·prometheus·可观测性·jmx·kafka集群调优·中间件监控
2501_933329552 小时前
技术深度拆解:Infoseek媒体发布系统的分布式架构与自动化实现
分布式·架构·媒体
星辰_mya16 小时前
消息队列遇到Producer发送慢
分布式·kafka
AutoMQ17 小时前
一行配置让你的 Apache Kafka RTO 缩短一半
kafka
meijinmeng18 小时前
Kafka Ansible+Helm批量部署 压测 监控
kafka
lhxsir20 小时前
kafka数据异常记录
分布式·kafka