ZooKeeper 是一个分布式协调服务 ，由 Apache 基金会开发，专为分布式系统设计。它提供了高可用、高性能、一致性的核心服务，帮助分布式应用解决诸如配置管理、命名服务、分布式锁、集群协调等问题。
ZooKeeper 的核心特点：
- 简单易用：提供类似文件系统的树形数据结构（ZNode），支持增删改查操作。
- 高可用：通过集群部署（通常 3 或 5 个节点）实现容错，少数节点故障不影响整体服务。
- 一致性：保证分布式环境中数据的强一致性（通过 ZAB 协议实现）。
- 实时性：能在一定时间内（毫秒级）将数据变更同步到所有节点。
ZooKeeper 在 Hadoop 中的作用
Hadoop 是一个分布式系统生态，包含 HDFS、MapReduce、YARN 等组件。ZooKeeper 作为核心协调者，为这些组件提供关键支持，具体作用如下：
1. 对 HDFS 的支持
-
NameNode 高可用（HA）
HDFS 中，NameNode 是管理元数据的核心节点，单点故障会导致整个集群不可用。
ZooKeeper 用于：
- 故障检测：通过心跳机制监控 Active NameNode 的状态。
- 自动故障转移：当 Active NameNode 故障时，ZooKeeper 协调 Standby NameNode 切换为 Active 状态。
- 分布式锁：确保同一时间只有一个 Active NameNode 对外提供服务（避免 "脑裂" 问题）。
-
JournalNode 协调
在 HDFS HA 架构中，JournalNode 用于同步 NameNode 的元数据 edits 日志。ZooKeeper 负责协调 JournalNode 集群的状态一致性。
2. 对 YARN 的支持
-
ResourceManager 高可用（HA）
YARN 中，ResourceManager 负责集群资源调度和任务管理。ZooKeeper 实现其高可用：
- 监控 Active ResourceManager 的健康状态。
- 当 Active 节点故障时，自动将 Standby 节点切换为 Active。
- 维护 ResourceManager 的状态信息（如应用程序队列、资源分配等）。
-
节点注册与状态管理
NodeManager（工作节点）启动时会向 ZooKeeper 注册自身信息，ResourceManager 通过 ZooKeeper 感知节点的上下线状态。
3. 对其他 Hadoop 生态组件的支持
-
HBase：
- 存储 RegionServer 的元数据和状态，协调 Region 分区的负载均衡。
- 实现 HMaster 的高可用（类似 NameNode HA 机制）。
-
Kafka：
- 存储主题（Topic）的元数据、分区副本分布信息。
- 管理消费者组（Consumer Group）的偏移量（旧版本，新版本已部分迁移至 Kafka 自身）。
-
Flume：
- 协调多个 Agent 节点的配置同步和故障恢复。
4. 通用协调功能
- 配置管理：存储 Hadoop 集群的全局配置（如节点列表、服务端口等），所有节点通过 ZooKeeper 实时获取最新配置。
- 命名服务：为 Hadoop 组件提供统一的命名空间（如通过路径标识 NameNode、ResourceManager 等服务）。
- 分布式锁：解决分布式环境中资源竞争问题（如多个节点同时修改元数据）。
总结
ZooKeeper 是 Hadoop 分布式生态的 "神经中枢"，它通过提供可靠的协调服务，解决了分布式系统中最核心的一致性、高可用和同步问题，确保 HDFS、YARN 等组件能够稳定、高效地协同工作。没有 ZooKeeper，Hadoop 集群的容错能力和扩展性将大幅下降。