Hadoop高可用集群(HA)一键启动脚本

高可用集群启动时,需要分别在每个节点上都执行zkServer.sh start启动zookeeper,这个过程比较麻烦,并且当我们节点增多时,这个过程无疑不增加了我们的工作量,因此我们可以写一个一键启动所有节点zookeeper的脚本

脚本实现:

1.进入/usr/bin目录,创建zkstart文件
2.打开zkstart文件,写入以下内容
复制代码
#!/bin/bash

# 定义节点的主机名或 IP 地址
node1="hadoop01"
node2="hadoop02"
node3="hadoop03"

# 定义 ZooKeeper 的安装路径
zk_home="/opt/programs/apache-zookeeper-3.9.0-bin"


# 启动 ZooKeeper
start_zookeeper() {
  echo "Starting ZooKeeper..."

  # 在每个节点上启动 ZooKeeper 服务器
  ssh -t $node1 "export JAVA_HOME=$JAVA_HOME; $zk_home/bin/zkServer.sh start"
  ssh -t $node2 "export JAVA_HOME=$JAVA_HOME; $zk_home/bin/zkServer.sh start"
  ssh -t $node3 "export JAVA_HOME=$JAVA_HOME; $zk_home/bin/zkServer.sh start"

  echo "ZooKeeper started successfully."
}

# 执行命令
start_zookeeper


exit 0

脚本中的 start_zookeeper 函数会在每个节点上启动 ZooKeeper 服务器。通过 SSH 连接到每个节点,并在每个节点上运行 zkServer.sh start 命令来启动 ZooKeeper。

一键关闭所有zookeeper的脚本即将该脚本中的zsServer.sh start改为stop即可。

如果要启动zookeeper并且也启动集群,那么可以在改脚本中接着加入启动HDFS和YARN的语句,如下所示:

复制代码
#!/bin/bash

# 定义节点的主机名或 IP 地址
node1="hadoop01"
node2="hadoop02"
node3="hadoop03"

# 定义 ZooKeeper 的安装路径
zk_home="/opt/programs/apache-zookeeper-3.9.0-bin"
# 定义 jdk 的安装路径
JAVA_HOME=/opt/programs/jdk1.8.0_371
PATH=$JAVA_HOME/bin:$PATH

# 启动 ZooKeeper
start_zookeeper() {
  echo "Starting ZooKeeper..."

  # 在每个节点上启动 ZooKeeper 服务器
  ssh -t $node1 "export JAVA_HOME=$JAVA_HOME; $zk_home/bin/zkServer.sh start"
  ssh -t $node2 "export JAVA_HOME=$JAVA_HOME; $zk_home/bin/zkServer.sh start"
  ssh -t $node3 "export JAVA_HOME=$JAVA_HOME; $zk_home/bin/zkServer.sh start"

  echo "ZooKeeper started successfully."
}

# 执行命令
start_zookeeper

  echo "Starting HDFS..."
start-dfs.sh
  echo "HDFS started successfully"

  echo "Starting Yarn..."
start-yarn.sh
  echo "Yarn started successfully"

exit 0

**注:**若要改写为一键关闭的脚本不能直接改start-stop,需要严格按照先关闭YARN,接着关闭HDFS和zookeeper的顺序进行!

脚本如下:

复制代码
#!/bin/bash

# 定义节点的主机名或 IP 地址
node1="hadoop01"
node2="hadoop02"
node3="hadoop03"

# 定义 ZooKeeper 的安装路径
zk_home="/opt/programs/apache-zookeeper-3.9.0-bin"
# 定义 jdk 的安装路径
JAVA_HOME=/opt/programs/jdk1.8.0_371
PATH=$JAVA_HOME/bin:$PATH

# 启动 ZooKeeper
stop_zookeeper() {
  echo "Stopping ZooKeeper..."

  # 在每个节点上启动 ZooKeeper 服务器
  ssh -t $node1 "export JAVA_HOME=$JAVA_HOME; $zk_home/bin/zkServer.sh stop"
  ssh -t $node2 "export JAVA_HOME=$JAVA_HOME; $zk_home/bin/zkServer.sh stop"
  ssh -t $node3 "export JAVA_HOME=$JAVA_HOME; $zk_home/bin/zkServer.sh stop"

  echo "ZooKeeper stopped successfully."
}

# 执行命令

 echo "Stopping Yarn..."
stop-yarn.sh
  echo "Yarn stopped successfully"

echo "Stopping HDFS..."
stop-dfs.sh
  echo "HDFS stopped successfully"

stop_zookeeper

exit 0
3.所有脚本文件创建完成后,都要执行如下命令为其设置权限:
复制代码
chmod 777 +文件名
相关推荐
这儿有一堆花1 小时前
Kali Linux:探测存活到挖掘漏洞
linux·运维·服务器
松涛和鸣1 小时前
从零开始理解 C 语言函数指针与回调机制
linux·c语言·开发语言·嵌入式硬件·排序算法
皮小白2 小时前
ubuntu开机检查磁盘失败进入应急模式如何修复
linux·运维·ubuntu
数据科学小丫2 小时前
数据分析与FineBI介绍
大数据·数据分析·finebi
ALex_zry2 小时前
Git大型仓库推送失败问题完整解决方案
大数据·git·elasticsearch
邂逅星河浪漫2 小时前
【CentOS】虚拟机网卡IP地址修改步骤
linux·运维·centos
hhwyqwqhhwy2 小时前
linux 驱动开发相关
linux·驱动开发
IT逆夜3 小时前
实现Yum本地仓库自动同步的完整方案(CentOS 7)
linux·运维·windows
S***26753 小时前
linux上redis升级
linux·运维·redis
二进制coder3 小时前
Git Fork 开发全流程教程
大数据·git·elasticsearch