kafka 线上消费积压问题

背景

线上kafka 流量大,消费小于生产,如何处理?

方案

增加consumer数量

可以增加consumer的消费者,不过这个只能在一定程序上缓解,如果consumer 数量超过partition 数,那有的就会空转,解决不了问题,这种在线上直接扩容后端即可

重分配

在上面的基础上,可以把一个topic通过其它的方案,打散到多个分区,比如A topic 3个分区,通过flink 打散到新的topic 9个分区,然后扩容后的后端消费新的topic。这样可以不动老的topic ,方案灵活,效率高

增加分区数

在增加consumer这个方案的基础上,可以增加分区数,这个不建议,在线上修改。

调整consumer 参数

比如批量消费,一次多pull 几条,配置要支持动态调整

检查消费者的瓶颈

检查是不是本身消费数据有瓶颈,优化逻辑代码

相关推荐
Yeats_Liao7 小时前
MindSpore开发之路(二十四):MindSpore Hub:快速复用预训练模型
人工智能·分布式·神经网络·机器学习·个人开发
IT大白8 小时前
2、Kafka原理-Producer
分布式·kafka
jamesge201013 小时前
kafka学习笔记
笔记·学习·kafka
巧克力味的桃子13 小时前
Spark 课程核心知识点复习汇总
大数据·分布式·spark
Java 码农14 小时前
RabbitMQ集群部署方案及配置指南05
分布式·rabbitmq
小马爱打代码14 小时前
ZooKeeper:五种经典应用场景
分布式·zookeeper·云原生
上海锟联科技17 小时前
DAS一体化光模块
分布式·分布式光纤传感·ofdr·光频域反射·das
Java 码农18 小时前
RabbitMQ集群部署方案及配置指南04
分布式·rabbitmq
独自破碎E18 小时前
在RabbitMQ中,怎么确保消息不会丢失?
分布式·rabbitmq