kafka 线上消费积压问题

背景

线上kafka 流量大,消费小于生产,如何处理?

方案

增加consumer数量

可以增加consumer的消费者,不过这个只能在一定程序上缓解,如果consumer 数量超过partition 数,那有的就会空转,解决不了问题,这种在线上直接扩容后端即可

重分配

在上面的基础上,可以把一个topic通过其它的方案,打散到多个分区,比如A topic 3个分区,通过flink 打散到新的topic 9个分区,然后扩容后的后端消费新的topic。这样可以不动老的topic ,方案灵活,效率高

增加分区数

在增加consumer这个方案的基础上,可以增加分区数,这个不建议,在线上修改。

调整consumer 参数

比如批量消费,一次多pull 几条,配置要支持动态调整

检查消费者的瓶颈

检查是不是本身消费数据有瓶颈,优化逻辑代码

相关推荐
雨言yyds16 小时前
Kafka
分布式·kafka
学到头秃的suhian20 小时前
Redis分布式锁
java·数据库·redis·分布式·缓存
若水不如远方20 小时前
分布式一致性原理(四):工程化共识 —— Raft 算法
分布式·后端·算法
三水不滴20 小时前
千万级数据批处理实战:SpringBoot + 分片 + 分布式并行处理方案
spring boot·分布式·后端
笨蛋不要掉眼泪20 小时前
从单体到分布式:一次完整的架构演进之旅
分布式·架构
会算数的⑨21 小时前
Spring AI Alibaba 学习(三):Graph Workflow 深度解析(下篇)
java·人工智能·分布式·后端·学习·spring·saa
认真的薛薛21 小时前
数据库-日志管理、备份恢复与主从同步
数据库·分布式·mysql
invicinble21 小时前
分布式组件的全域认识和操作--gateway
分布式·gateway
Andy Dennis1 天前
分布式ID方案学习
分布式
三点水-here1 天前
04 - 分布式大模型推理实战:TP/PP/EP并行策略深度解析
分布式·rdma·nccl·moe·流水线并行·张量并行·专家并行