kafka容灾演练的方案

背景

kafka可以通过MirrorMaker工具把集群的数据从一个集群同步到另一个集群,通过在另一个数据中心创建灾备集群的方式可以做到容灾的效果,但是如果我们不通过如此重量级的工具也想达到容灾演练的目的,可以怎么做呢

kafka简单容灾实现

当原kafka集群发生crash down时,里面的所有队列中的消息会丢失,此时我们不再理会这些丢失的消息,然后我们会在灾备集群新建一个新的一模一样的topic,后续收发消息都是发送到这个灾备集群的主题中了。

相关推荐
我不会起名字32210 小时前
消费回调固定 return nil:错误传播与 Kafka 位点提交的区别
后端·mongodb·kafka·go·im·故障排查
qq_4523962316 小时前
第十篇:《Kafka 安全加固:SASL、SSL、ACL 与多租户隔离》
安全·kafka·ssl
用户3610588626122 天前
KafkaProducer 元数据管理:send() 卡住时,它在等什么
kafka
方方洛2 天前
ray教程-28-附录G-CICD与Slurm与云上调度
人工智能·分布式·机器学习
空奈qwq2 天前
【Kafka 从入门到实战】从手写一个队列到生产级消息中间件:架构、分区、消费组、零拷贝全解析
分布式·架构·kafka
山甫aa3 天前
锁一篇搞定:乐观锁、悲观锁、CAS、数据库锁与分布式锁【从零开始的 Web 后端学习】
java·数据库·分布式·后端·学习·web
严肃小白兔4 天前
Cloudflare Durable Objects 支持自动重试:分布式调用如何避免重复执行?
分布式
用户3610588626124 天前
深度拆解 Kafka 源码:Producer 构造器装配了哪些核心组件
kafka
方方洛4 天前
ray教程-27-附录F-RayClient与runtime_env与多语言
人工智能·分布式·机器学习