kafka 线上消费积压问题

背景

线上kafka 流量大,消费小于生产,如何处理?

方案

增加consumer数量

可以增加consumer的消费者,不过这个只能在一定程序上缓解,如果consumer 数量超过partition 数,那有的就会空转,解决不了问题,这种在线上直接扩容后端即可

重分配

在上面的基础上,可以把一个topic通过其它的方案,打散到多个分区,比如A topic 3个分区,通过flink 打散到新的topic 9个分区,然后扩容后的后端消费新的topic。这样可以不动老的topic ,方案灵活,效率高

增加分区数

在增加consumer这个方案的基础上,可以增加分区数,这个不建议,在线上修改。

调整consumer 参数

比如批量消费,一次多pull 几条,配置要支持动态调整

检查消费者的瓶颈

检查是不是本身消费数据有瓶颈,优化逻辑代码

相关推荐
组合缺一18 小时前
OpenSolon v3.9.3, v3.8.5, v3.7.5, v3.6.8 年货版发布
java·人工智能·分布式·ai·llm·solon·mcp
一只鱼丸yo19 小时前
分布式系统的心脏:Raft共识算法原理深度解析
分布式·系统架构·共识算法
a2852820 小时前
分布式WEB应用中会话管理的变迁之路
前端·分布式
玄〤20 小时前
RabbitMQ高级篇总结(黑马微服务课day11)(包含黑马商城业务改造)
java·分布式·spring cloud·微服务·架构·rabbitmq
倚肆20 小时前
Kafka 生产者与消费者配置详解
java·分布式·后端·kafka
听麟20 小时前
HarmonyOS 6.0+ PC端分布式并行计算引擎开发实战:边缘协同场景下的异构资源调度与任务优化
分布式·华为·音视频·harmonyos·政务
倚肆20 小时前
Kafka TopicBuilder 主题配置详解
java·服务器·kafka
The Sheep 202321 小时前
Hadoop学习
分布式·kafka
PRINT!1 天前
RabbitMQ实战项目(含代码仓库地址+视频教程地址)基本篇已更新完结,高级篇持续更新中
java·分布式·后端·微服务·rabbitmq