kafka 线上消费积压问题

背景

线上kafka 流量大,消费小于生产,如何处理?

方案

增加consumer数量

可以增加consumer的消费者,不过这个只能在一定程序上缓解,如果consumer 数量超过partition 数,那有的就会空转,解决不了问题,这种在线上直接扩容后端即可

重分配

在上面的基础上,可以把一个topic通过其它的方案,打散到多个分区,比如A topic 3个分区,通过flink 打散到新的topic 9个分区,然后扩容后的后端消费新的topic。这样可以不动老的topic ,方案灵活,效率高

增加分区数

在增加consumer这个方案的基础上,可以增加分区数,这个不建议,在线上修改。

调整consumer 参数

比如批量消费,一次多pull 几条,配置要支持动态调整

检查消费者的瓶颈

检查是不是本身消费数据有瓶颈,优化逻辑代码

相关推荐
【D'accumulation】1 小时前
Kafka地址映射不通(很常见的问题)
分布式·kafka
数翊科技8 小时前
深度解析 HexaDB分布式 DDL 的全局一致性
分布式
Tony Bai11 小时前
【分布式系统】03 复制(上):“权威中心”的秩序 —— 主从架构、一致性与权衡
大数据·数据库·分布式·架构
雨中飘荡的记忆18 小时前
Kafka入门:从零开始掌握消息队列
kafka
txinyu的博客18 小时前
HTTP服务实现用户级窗口限流
开发语言·c++·分布式·网络协议·http
独自破碎E18 小时前
RabbitMQ中的Prefetch参数
分布式·rabbitmq
深蓝电商API19 小时前
Scrapy+Rredis实现分布式爬虫入门与优化
分布式·爬虫·scrapy
indexsunny20 小时前
互联网大厂Java面试实战:Spring Boot与微服务在电商场景的应用解析
java·spring boot·redis·微服务·kafka·gradle·maven
回家路上绕了弯20 小时前
定期归档历史数据实战指南:从方案设计到落地优化
分布式·后端
rchmin1 天前
Distro与Raft协议对比分析
分布式·cap