kafka中MirrorMaker1和MirrorMaker2的区别
一、MM1和MM2的区别
1、工作原理与架构
MM1：
- 本质上是Kafka的消费者（Consumer）和生产者（Producer）的结合体。
- 通过消费源集群的数据，并将其生产到目标集群，实现数据的复制和同步。
- 使用了Kafka client的high level API。
MM2：
- 基于Kafka Connect框架开发，利用了Kafka Connect的source connector和sink connector。
- Source connector负责读取远端数据中心的数据，sink connector负责将拉回来的数据写入本地的数据中心。
- 提供了更高级的同步机制，如自动探测新topic、自动同步topic配置和ACL（访问控制列表）等。
2、功能与特性
MM1：
- 功能相对简单，主要实现数据的复制和同步。
- 缺乏监控手段，无法实时了解同步任务的状态和性能。
- 在处理active-active场景时，需要手动配置来解决循环同步问题。
MM2：
- 提供了丰富的监控指标和管理接口，可以实时监控复制任务的状态和性能。
- 支持跨版本兼容，可以方便地在不同版本的Kafka集群之间进行数据复制和同步。
- 提供了更高的灵活性和可扩展性，可以根据实际需求进行配置，满足不同的数据同步需求。
- 支持active-active集群对以及任意数量的active集群，支持跨IDC同步、aggregation和其他复杂拓扑。
3、部署与维护
MM1：
- 部署相对复杂，需要为每个需要同步的Kafka集群对配置一个MirrorMaker实例。
- 在维护方面，需要定期检查和调整配置，以确保同步任务的正常运行。
MM2：
- 部署更加简单，可以通过Kafka Connect集群来管理多个同步任务。
- 提供了更简洁的配置方式，降低了维护成本。
4、性能与稳定性
MM1：
- 在网络不稳定或负载较高的情况下，可能会遇到频繁的rebalance问题，影响同步的稳定性和效率。
MM2：
- 采用了更先进的同步机制，避免了频繁的rebalance问题。
- 提供了更高的吞吐量和更低的延迟，适用于大数据场景下的数据同步。
二、MM1局限性
- 静态的黑名单和白名单
- topic信息不能同步
- 必须通过手动配置来解决active-active场景下的循环同步问题
- rebalance导致的性能问题
- 缺乏监控手段
- 无法保证Exactly Once
- 无法提供容灾恢复
三、kafka带来的MM2
1、MM2简介
kafka开源社区也终于在kafka2.4带来了自己的企业级解决方案MirrorMaker-V2(MM2)。MM2修复了MM1所存在的局限性。
MM2是基于kafka connect框架开发的。与其它的kafka connecet一样MM2有source connector和sink connetor组成，不熟悉kafka connect概念的同学可以这样认为，source connector就是MM1中的消费者，它负责读取远端数据中心的数据。sink connetor是生产者，他负责将拉回来的数据写入本地的数据中心。
MM2共含有4种类型的connector：
MirrorSourceConnector
MirrorSinkConnector
MirrorCheckpointConnector
MirrorHeartbeatConnector
与MM1不同的是，MM2的source和sink两个connector包含了，源数据的消费者，远端数据的生产者，和一对AdminClient用来同步topic配置信息。
它的部署方式跟MM1相同，都是部署在目标集群方。
2、MM2具有如下特性:
-
基于Kafka Connect framework和生态
-
自动探测新topic, partition
-
自动同步topic配置，自动同步topic acl
-
支持active-active集群对，以及任意数量的active集群
-
支持跨IDC同步， aggregation和其他复杂拓扑
-
consumer offset等meta信息的同步和翻译
-
no rebalance，减少同步波动
-
提供广泛的指标，例如跨多个数据中心/集群的端到端复制延迟
-
容错和水平可扩展
3、MM2配置详解：
java
#定义集群别名
clusters = A, B
A.bootstrap.servers = A_host1:9092, A_host2:9092, A_host3:9092 # 设置A集群的kafka地址列表
B.bootstrap.servers = B_host1:9092, B_host2:9092, B_host3:9092 # 设置B集群的kafka地址列表
A->B.enabled = true # 开启A集群向B集群同步
A->B.topics = .* # 允许同步topic的正则
B->A.enabled = true # 开启B集群向A集群同步
B->A.topics = .* # 允许同步topic的正则
#MM2内部同步机制使用的topic，replication数量设置
checkpoints.topic.replication.factor=1
heartbeats.topic.replication.factor=1
offset-syncs.topic.replication.factor=1
offset.storage.replication.factor=1
status.storage.replication.factor=1
config.storage.replication.factor=1
#自定义参数
sync.topic.configs.enabled=true #是否同步源topic配置信息
sync.topic.acls.enabled=true #是否同步源ACL信息
emit.heartbeats.enabled=true #连接器是否发送心跳
emit.heartbeats.interval.seconds=5 #心跳间隔
emit.checkpoints.enabled=true #是否发送检查点
refresh.topics.enabled=true #是否刷新topic列表
refresh.topics.interval.seconds=5 #刷新间隔
refresh.groups.enabled=true #是否刷新消费者组id
refresh.groups.interval.seconds=5 #刷新间隔
readahead.queue.capacity=500 #连接器消费者预读队列大小
replication.policy.class=org.apache.kafka.connect.mirror.DefaultReplicationPolicy #使用LegacyReplicationPolicy模仿MM1
heartbeats.topic.retention.ms=1 day #首次创建心跳主题时，设置心跳数据保留时长
checkpoints.topic.retention.ms=1 day #首次创建检查点主题时，设置检查点数据保留时长
offset.syncs.topic.retention.ms=max long #首次创建偏移量主题时，设置偏移量数据保留时长
replication.factor=2 #远端创建新topic的replication数量设置4、MM2启动
java
bin/connect-mirror-maker.sh config/connect-mirror-maker.properties