Hadoop高可用集群(HA)一键启动脚本

高可用集群启动时,需要分别在每个节点上都执行zkServer.sh start启动zookeeper,这个过程比较麻烦,并且当我们节点增多时,这个过程无疑不增加了我们的工作量,因此我们可以写一个一键启动所有节点zookeeper的脚本

脚本实现:

1.进入/usr/bin目录,创建zkstart文件
2.打开zkstart文件,写入以下内容
复制代码
#!/bin/bash

# 定义节点的主机名或 IP 地址
node1="hadoop01"
node2="hadoop02"
node3="hadoop03"

# 定义 ZooKeeper 的安装路径
zk_home="/opt/programs/apache-zookeeper-3.9.0-bin"


# 启动 ZooKeeper
start_zookeeper() {
  echo "Starting ZooKeeper..."

  # 在每个节点上启动 ZooKeeper 服务器
  ssh -t $node1 "export JAVA_HOME=$JAVA_HOME; $zk_home/bin/zkServer.sh start"
  ssh -t $node2 "export JAVA_HOME=$JAVA_HOME; $zk_home/bin/zkServer.sh start"
  ssh -t $node3 "export JAVA_HOME=$JAVA_HOME; $zk_home/bin/zkServer.sh start"

  echo "ZooKeeper started successfully."
}

# 执行命令
start_zookeeper


exit 0

脚本中的 start_zookeeper 函数会在每个节点上启动 ZooKeeper 服务器。通过 SSH 连接到每个节点,并在每个节点上运行 zkServer.sh start 命令来启动 ZooKeeper。

一键关闭所有zookeeper的脚本即将该脚本中的zsServer.sh start改为stop即可。

如果要启动zookeeper并且也启动集群,那么可以在改脚本中接着加入启动HDFS和YARN的语句,如下所示:

复制代码
#!/bin/bash

# 定义节点的主机名或 IP 地址
node1="hadoop01"
node2="hadoop02"
node3="hadoop03"

# 定义 ZooKeeper 的安装路径
zk_home="/opt/programs/apache-zookeeper-3.9.0-bin"
# 定义 jdk 的安装路径
JAVA_HOME=/opt/programs/jdk1.8.0_371
PATH=$JAVA_HOME/bin:$PATH

# 启动 ZooKeeper
start_zookeeper() {
  echo "Starting ZooKeeper..."

  # 在每个节点上启动 ZooKeeper 服务器
  ssh -t $node1 "export JAVA_HOME=$JAVA_HOME; $zk_home/bin/zkServer.sh start"
  ssh -t $node2 "export JAVA_HOME=$JAVA_HOME; $zk_home/bin/zkServer.sh start"
  ssh -t $node3 "export JAVA_HOME=$JAVA_HOME; $zk_home/bin/zkServer.sh start"

  echo "ZooKeeper started successfully."
}

# 执行命令
start_zookeeper

  echo "Starting HDFS..."
start-dfs.sh
  echo "HDFS started successfully"

  echo "Starting Yarn..."
start-yarn.sh
  echo "Yarn started successfully"

exit 0

**注:**若要改写为一键关闭的脚本不能直接改start-stop,需要严格按照先关闭YARN,接着关闭HDFS和zookeeper的顺序进行!

脚本如下:

复制代码
#!/bin/bash

# 定义节点的主机名或 IP 地址
node1="hadoop01"
node2="hadoop02"
node3="hadoop03"

# 定义 ZooKeeper 的安装路径
zk_home="/opt/programs/apache-zookeeper-3.9.0-bin"
# 定义 jdk 的安装路径
JAVA_HOME=/opt/programs/jdk1.8.0_371
PATH=$JAVA_HOME/bin:$PATH

# 启动 ZooKeeper
stop_zookeeper() {
  echo "Stopping ZooKeeper..."

  # 在每个节点上启动 ZooKeeper 服务器
  ssh -t $node1 "export JAVA_HOME=$JAVA_HOME; $zk_home/bin/zkServer.sh stop"
  ssh -t $node2 "export JAVA_HOME=$JAVA_HOME; $zk_home/bin/zkServer.sh stop"
  ssh -t $node3 "export JAVA_HOME=$JAVA_HOME; $zk_home/bin/zkServer.sh stop"

  echo "ZooKeeper stopped successfully."
}

# 执行命令

 echo "Stopping Yarn..."
stop-yarn.sh
  echo "Yarn stopped successfully"

echo "Stopping HDFS..."
stop-dfs.sh
  echo "HDFS stopped successfully"

stop_zookeeper

exit 0
3.所有脚本文件创建完成后,都要执行如下命令为其设置权限:
复制代码
chmod 777 +文件名
相关推荐
青云交几秒前
Java 大视界 -- Java 大数据在智能医疗医疗设备维护与管理中的应用(358)
java·大数据·设备维护·智能医疗·大数据管理·故障预警·mri 设备
码字的字节3 分钟前
Hadoop调度器深度解析:FairScheduler与CapacityScheduler的优化策略
hadoop·capacity·fairscheduler
Fireworkitte18 分钟前
TDengine时序数据库 详解
大数据·时序数据库·tdengine
云境天合知识分享25 分钟前
防爆自动气象站在加油站的使用
大数据
中心观察者1 小时前
LVS技术详解与实战
linux·运维·服务器·网络·lvs
武子康1 小时前
大数据-49 Redis 缓存异常全攻略:穿透、击穿、雪崩、热Key、大Key通杀指南
大数据·redis·后端
2301_813506132 小时前
Haproxy七层代理
linux·运维·学习
为什么要内卷,摆烂不香吗2 小时前
haproxy七层代理新手入门详解
linux·运维·haproxy
宁建利2 小时前
ESP32-S3学习笔记<2>:GPIO的应用
linux·笔记·学习
喜欢你,还有大家2 小时前
Linux笔记1——简介安装
linux·运维·服务器