如何解决kafka rebalance导致的暂时性不能消费数据问题

文章目录

背景

之前在review同组其它业务的时候,发现竟然把kafka去掉了,问了下原因,有一个单独的服务,我们可以把它称为agent,就是这个服务是动态扩缩容的,会采集一些指标,根据指标在k8s环境动态的scale,然后因为扩缩容会导致kafka 频繁的rebalance,导致线上环境消费数据不平滑,然后就把这个去掉了

思考

这个问题还真让我陷入了思考,其它家公司是如何解决这个问题的,找了下竟然没找到答案, 俗话话,念念不忘,必有回响,让我想起了pulsar这个,竟然解决了这个问题

答案

pulsar有三种消费数据的模式

排它

topic 只能由一个consumer消费

故障转移

很好理解,po有多个consumer,a是主,b,c,d是standy 的,a挂掉,b,c,d会有一个成为主

共享

每个分区可以由多个consumer消费

相关推荐
川2112 小时前
ZooKeeper配置+失误
linux·分布式·zookeeper
风途知识百科12 小时前
并网/分布式光伏气象站
人工智能·分布式
云和数据.ChenGuang12 小时前
运维工程师技术教程之Pull Requests(PR)
运维·分布式·git·数据库运维工程师·运维教程
西***634713 小时前
破局信息孤岛 赋能城市智治——分布式可视化系统驱动智慧城市指挥中心升级
人工智能·分布式·智慧城市
..空空的人13 小时前
C++基于protobuf实现仿RabbitMQ消息队列---服务器模块认识2
服务器·分布式·rabbitmq
上海锟联科技14 小时前
高精度DAS-U1000 解调卡
分布式·分布式光纤传感·光频域反射
淡云微晴14 小时前
Zookeeper 分布式协调服务
分布式·zookeeper
Wang's Blog14 小时前
RabbitMQ: 集群网络分区的深度解析之意义、风险与处理策略
网络·分布式·rabbitmq
Wang's Blog14 小时前
RabbitMQ: 分布式事务消息处理框架之实现可靠消息方案 —— 枚举定义、实体建模、存储层实现与定时任务调度
分布式·rabbitmq
搬砖的kk15 小时前
Flutter适配鸿蒙:跨平台力量为鸿蒙生态注入增长新动能
分布式·flutter·harmonyos