Hadoop高可用集群(HA)一键启动脚本

高可用集群启动时,需要分别在每个节点上都执行zkServer.sh start启动zookeeper,这个过程比较麻烦,并且当我们节点增多时,这个过程无疑不增加了我们的工作量,因此我们可以写一个一键启动所有节点zookeeper的脚本

脚本实现:

1.进入/usr/bin目录,创建zkstart文件
2.打开zkstart文件,写入以下内容
复制代码
#!/bin/bash

# 定义节点的主机名或 IP 地址
node1="hadoop01"
node2="hadoop02"
node3="hadoop03"

# 定义 ZooKeeper 的安装路径
zk_home="/opt/programs/apache-zookeeper-3.9.0-bin"


# 启动 ZooKeeper
start_zookeeper() {
  echo "Starting ZooKeeper..."

  # 在每个节点上启动 ZooKeeper 服务器
  ssh -t $node1 "export JAVA_HOME=$JAVA_HOME; $zk_home/bin/zkServer.sh start"
  ssh -t $node2 "export JAVA_HOME=$JAVA_HOME; $zk_home/bin/zkServer.sh start"
  ssh -t $node3 "export JAVA_HOME=$JAVA_HOME; $zk_home/bin/zkServer.sh start"

  echo "ZooKeeper started successfully."
}

# 执行命令
start_zookeeper


exit 0

脚本中的 start_zookeeper 函数会在每个节点上启动 ZooKeeper 服务器。通过 SSH 连接到每个节点,并在每个节点上运行 zkServer.sh start 命令来启动 ZooKeeper。

一键关闭所有zookeeper的脚本即将该脚本中的zsServer.sh start改为stop即可。

如果要启动zookeeper并且也启动集群,那么可以在改脚本中接着加入启动HDFS和YARN的语句,如下所示:

复制代码
#!/bin/bash

# 定义节点的主机名或 IP 地址
node1="hadoop01"
node2="hadoop02"
node3="hadoop03"

# 定义 ZooKeeper 的安装路径
zk_home="/opt/programs/apache-zookeeper-3.9.0-bin"
# 定义 jdk 的安装路径
JAVA_HOME=/opt/programs/jdk1.8.0_371
PATH=$JAVA_HOME/bin:$PATH

# 启动 ZooKeeper
start_zookeeper() {
  echo "Starting ZooKeeper..."

  # 在每个节点上启动 ZooKeeper 服务器
  ssh -t $node1 "export JAVA_HOME=$JAVA_HOME; $zk_home/bin/zkServer.sh start"
  ssh -t $node2 "export JAVA_HOME=$JAVA_HOME; $zk_home/bin/zkServer.sh start"
  ssh -t $node3 "export JAVA_HOME=$JAVA_HOME; $zk_home/bin/zkServer.sh start"

  echo "ZooKeeper started successfully."
}

# 执行命令
start_zookeeper

  echo "Starting HDFS..."
start-dfs.sh
  echo "HDFS started successfully"

  echo "Starting Yarn..."
start-yarn.sh
  echo "Yarn started successfully"

exit 0

**注:**若要改写为一键关闭的脚本不能直接改start-stop,需要严格按照先关闭YARN,接着关闭HDFS和zookeeper的顺序进行!

脚本如下:

复制代码
#!/bin/bash

# 定义节点的主机名或 IP 地址
node1="hadoop01"
node2="hadoop02"
node3="hadoop03"

# 定义 ZooKeeper 的安装路径
zk_home="/opt/programs/apache-zookeeper-3.9.0-bin"
# 定义 jdk 的安装路径
JAVA_HOME=/opt/programs/jdk1.8.0_371
PATH=$JAVA_HOME/bin:$PATH

# 启动 ZooKeeper
stop_zookeeper() {
  echo "Stopping ZooKeeper..."

  # 在每个节点上启动 ZooKeeper 服务器
  ssh -t $node1 "export JAVA_HOME=$JAVA_HOME; $zk_home/bin/zkServer.sh stop"
  ssh -t $node2 "export JAVA_HOME=$JAVA_HOME; $zk_home/bin/zkServer.sh stop"
  ssh -t $node3 "export JAVA_HOME=$JAVA_HOME; $zk_home/bin/zkServer.sh stop"

  echo "ZooKeeper stopped successfully."
}

# 执行命令

 echo "Stopping Yarn..."
stop-yarn.sh
  echo "Yarn stopped successfully"

echo "Stopping HDFS..."
stop-dfs.sh
  echo "HDFS stopped successfully"

stop_zookeeper

exit 0
3.所有脚本文件创建完成后,都要执行如下命令为其设置权限:
复制代码
chmod 777 +文件名
相关推荐
zgl_200537791 小时前
源代码:跨数据库通用“字段级”数据血缘解析与图形化(2/3:标注信息的拆解、检验、保存)
大数据·数据库·数据仓库·sql·数据挖掘·etl·嵌入式实时数据库
邀星月为媒1 小时前
正式迁移 Gitee:core-site-hive 与 core-hive-agent 后续更新只认这两个地址
hive·hadoop·gitee
BD_Marathon1 小时前
Hadoop常用端口号
java·大数据·hadoop
智恒百亿1 小时前
企业 AI 推理本地化部署:GPU 服务器选型技术分析(2026 年 8 月)
大数据·服务器·人工智能
黎阳之光1 小时前
软硬协同国产化 | 黎阳之光矩阵式视频融合管理系统完成摩尔线程国产GPU兼容适配
大数据·人工智能·物联网·安全·数字孪生
长谷深风1111 小时前
读懂 MCP:能力、传输与多 Server 连接
java·大数据·ai·ai agent·mcp·streamable http·agent设计
whcyhhh1 小时前
头歌实践教学平台:数据科学与大数据技术导论(十八2)
大数据·开发语言·python
智圣新创011 小时前
存量数字化校园升级破局:从基础数据集成到校务服务全域提效的通用落地路径
大数据·人工智能·物联网
奈斯先生Vector1 小时前
从“能调用”到“可替换”:Coze 多模型 API 编排层设计指南
linux·运维·人工智能·ubuntu·平面·ios
AAA代码批发商1 小时前
Days 32 Linux 多线程:线程分离属性、多进程 vs 多线程、线程同步互斥锁、信号量
linux·笔记