一、Zookeeper 在 Hadoop 生态中的核心角色
Hadoop 本身是分布式系统（由多个节点组成），但分布式系统天生有3个痛点：谁当老大？节点是否存活？配置是否一致？
Zookeeper 就是来解决这些问题的，核心角色可以总结为4个：
1. 集群"老大"选举（NameNode/YARN ResourceManager 高可用）
- 场景：HDFS 的 NameNode、YARN 的 ResourceManager 是集群的"核心大脑"，如果只有一个，宕机就会导致整个集群瘫痪；
- Zookeeper 作用 ：
- 管理 NameNode/ResourceManager 的「主备切换」：通过选举机制，确保同一时间只有一个"主节点"工作，备节点实时监控主节点状态；
- 主节点宕机时，Zookeeper 能快速感知并选举备节点升级为主节点，实现「秒级切换」，保证集群不中断。
2. 分布式锁 & 资源协调（解决并发冲突）
- 场景：Hadoop 集群中多个节点同时争抢某个资源（比如写同一个HDFS文件、提交同一个MapReduce任务），容易出现冲突；
- Zookeeper 作用 ：
- 提供「分布式锁」：哪个节点先拿到Zookeeper的锁，谁就能操作资源，其他节点排队等待；
- 典型例子：HBase 的 Master 选举、RegionServer 的负载均衡，都是靠Zookeeper的分布式锁实现的。
3. 节点心跳检测 & 集群成员管理（监控节点存活）
- 场景：Hadoop 集群有几十个/几百个 DataNode/NodeManager，需要实时知道哪些节点活着、哪些宕机了；
- Zookeeper 作用 ：
- 所有节点（DataNode/NodeManager）都会向Zookeeper注册，并定期发送"心跳"（比如每3秒发一次）；
- 如果某个节点超过时间没发心跳，Zookeeper 就标记它为"下线"，并通知集群的核心组件（比如NameNode），避免给宕机节点分配任务。
4. 配置中心 & 元数据存储（保证配置一致）
- 场景：Hadoop 集群的所有节点需要用相同的配置（比如HDFS副本数、YARN内存阈值），如果手动改每个节点的配置，容易出错且不一致；
- Zookeeper 作用 ：
- 把集群的核心配置（比如Hive元数据地址、Spark集群参数）存到Zookeeper的「节点（ZNode）」中；
- 所有节点从Zookeeper读取配置，一旦配置修改，Zookeeper会主动通知所有节点，实现「配置实时同步」。
举例：
假设启动 Hadoop 集群：
- Zookeeper 先选举出自己的 Leader 节点，确保自身集群可用；
- HDFS 的两个 NameNode 向 Zookeeper 注册，Zookeeper 选举其中一个为「主NameNode」，另一个为「备NameNode」；
- 所有 DataNode 向 Zookeeper 发送心跳，Zookeeper 实时记录哪些 DataNode 存活；
- 当主 NameNode 宕机时，Zookeeper 立刻感知，触发备 NameNode 升级为主节点，DataNode 自动切换到新的主 NameNode 上报数据，整个过程几乎无感知。
总结
- Zookeeper 自身架构核心：通过"全量数据备份+Leader选举+多数派确认"，实现分布式数据的强一致性和高可用；
- Zookeeper 在 Hadoop 中的角色 ：
- 核心是解决分布式系统的「老大选举、节点监控、并发锁、配置同步」四大问题；
- 是 Hadoop 高可用集群的"基石"，没有Zookeeper，Hadoop 就只能是单节点（非高可用）部署，无法用于生产环境。