Kubernetes Kafka 系列｜MirrorMaker 2 同步数据

一、MirrorMaker 2介绍

MirrorMaker 2（简称MM2）是Apache Kafka的一个工具，主要用于跨Kafka集群的数据复制和同步。相比早期的MirrorMaker 1（简称MM1），MirrorMaker 2在设计和功能上有了显著的提升，能够更好地适应生产环境的需求。

首先，MM2采用了并行复制的方式，能够实现高吞吐量的数据复制和同步，使得在大数据场景下也能保持高效性能。这使得MM2成为数据备份、灾难恢复、数据分析和实时处理等多种应用场景下的理想选择。

其次，MM2在数据同步方面具有很高的灵活性。它可以构建不同数据中心的主备两个集群容灾架构，实时同步两个集群的数据。当其中一个集群不可用时，可以将上面的应用程序切换到另一个集群，从而实现异地容灾功能。此外，MM2还可以将多个Kafka子集群的数据同步到一个中心Kafka集群，实现数据的汇聚。

二、mm2部署

Strimzi是一个孵化项目，旨在简化Kubernetes上Apache Kafka的部署。通过一组扩展Kubernetes API的操作符与Kafka交互，Strimzi提供了一种Kubernetes原生方式，以更轻松地在Kubernetes上配置、部署和操作Kafka。

本文简洁使用Strimzi部署mm2

具体含义理解可去官网学习

https://strimzi.io/documentation/

复制代码

apiVersion: kafka.strimzi.io/v1beta2
kind: KafkaMirrorMaker2
metadata:
  name: my-mirror-maker-2
spec:
  version: 3.7.0
  replicas: 1
  connectCluster: "cluster-b" # Must be the target custer
  clusters:
  - alias: "cluster-a" # Source cluster
    bootstrapServers: my-cluster-kafka-bootstrap:9092
  - alias: "cluster-b" # Target cluster
    bootstrapServers: 10.10.101.114:32094
    config:
      # -1 means it will use the default replication factor configured in the broker
      config.storage.replication.factor: -1
      offset.storage.replication.factor: -1
      status.storage.replication.factor: -1
  mirrors:
  - sourceCluster: "cluster-a"
    targetCluster: "cluster-b"
    sourceConnector:
      tasksMax: 1
      config:
        # -1 means it will use the default replication factor configured in the broker
        replication.factor: -1
        offset-syncs.topic.replication.factor: -1
        sync.topic.acls.enabled: "false"
        refresh.topics.interval.seconds: 600   #broker刷新间隔
    checkpointConnector:
      tasksMax: 1
      config:
        # -1 means it will use the default replication factor configured in the broker
        checkpoints.topic.replication.factor: -1
        sync.group.offsets.enabled: "false"
        refresh.groups.interval.seconds: 600
    topicsPattern: ".*"
    groupsPattern: ".*"

后续会更新，关注不迷糊