kafka 线上消费积压问题

背景

线上kafka 流量大,消费小于生产,如何处理?

方案

增加consumer数量

可以增加consumer的消费者,不过这个只能在一定程序上缓解,如果consumer 数量超过partition 数,那有的就会空转,解决不了问题,这种在线上直接扩容后端即可

重分配

在上面的基础上,可以把一个topic通过其它的方案,打散到多个分区,比如A topic 3个分区,通过flink 打散到新的topic 9个分区,然后扩容后的后端消费新的topic。这样可以不动老的topic ,方案灵活,效率高

增加分区数

在增加consumer这个方案的基础上,可以增加分区数,这个不建议,在线上修改。

调整consumer 参数

比如批量消费,一次多pull 几条,配置要支持动态调整

检查消费者的瓶颈

检查是不是本身消费数据有瓶颈,优化逻辑代码

相关推荐
【D'accumulation】1 天前
Kafka地址映射不通(很常见的问题)
分布式·kafka
数翊科技1 天前
深度解析 HexaDB分布式 DDL 的全局一致性
分布式
Tony Bai1 天前
【分布式系统】03 复制(上):“权威中心”的秩序 —— 主从架构、一致性与权衡
大数据·数据库·分布式·架构
雨中飘荡的记忆2 天前
Kafka入门:从零开始掌握消息队列
kafka
txinyu的博客2 天前
HTTP服务实现用户级窗口限流
开发语言·c++·分布式·网络协议·http
独自破碎E2 天前
RabbitMQ中的Prefetch参数
分布式·rabbitmq
深蓝电商API2 天前
Scrapy+Rredis实现分布式爬虫入门与优化
分布式·爬虫·scrapy
indexsunny2 天前
互联网大厂Java面试实战:Spring Boot与微服务在电商场景的应用解析
java·spring boot·redis·微服务·kafka·gradle·maven
回家路上绕了弯2 天前
定期归档历史数据实战指南:从方案设计到落地优化
分布式·后端
rchmin2 天前
Distro与Raft协议对比分析
分布式·cap