Hadoop高可用集群(HA)一键启动脚本

高可用集群启动时,需要分别在每个节点上都执行zkServer.sh start启动zookeeper,这个过程比较麻烦,并且当我们节点增多时,这个过程无疑不增加了我们的工作量,因此我们可以写一个一键启动所有节点zookeeper的脚本

脚本实现:

1.进入/usr/bin目录,创建zkstart文件
2.打开zkstart文件,写入以下内容
复制代码
#!/bin/bash

# 定义节点的主机名或 IP 地址
node1="hadoop01"
node2="hadoop02"
node3="hadoop03"

# 定义 ZooKeeper 的安装路径
zk_home="/opt/programs/apache-zookeeper-3.9.0-bin"


# 启动 ZooKeeper
start_zookeeper() {
  echo "Starting ZooKeeper..."

  # 在每个节点上启动 ZooKeeper 服务器
  ssh -t $node1 "export JAVA_HOME=$JAVA_HOME; $zk_home/bin/zkServer.sh start"
  ssh -t $node2 "export JAVA_HOME=$JAVA_HOME; $zk_home/bin/zkServer.sh start"
  ssh -t $node3 "export JAVA_HOME=$JAVA_HOME; $zk_home/bin/zkServer.sh start"

  echo "ZooKeeper started successfully."
}

# 执行命令
start_zookeeper


exit 0

脚本中的 start_zookeeper 函数会在每个节点上启动 ZooKeeper 服务器。通过 SSH 连接到每个节点,并在每个节点上运行 zkServer.sh start 命令来启动 ZooKeeper。

一键关闭所有zookeeper的脚本即将该脚本中的zsServer.sh start改为stop即可。

如果要启动zookeeper并且也启动集群,那么可以在改脚本中接着加入启动HDFS和YARN的语句,如下所示:

复制代码
#!/bin/bash

# 定义节点的主机名或 IP 地址
node1="hadoop01"
node2="hadoop02"
node3="hadoop03"

# 定义 ZooKeeper 的安装路径
zk_home="/opt/programs/apache-zookeeper-3.9.0-bin"
# 定义 jdk 的安装路径
JAVA_HOME=/opt/programs/jdk1.8.0_371
PATH=$JAVA_HOME/bin:$PATH

# 启动 ZooKeeper
start_zookeeper() {
  echo "Starting ZooKeeper..."

  # 在每个节点上启动 ZooKeeper 服务器
  ssh -t $node1 "export JAVA_HOME=$JAVA_HOME; $zk_home/bin/zkServer.sh start"
  ssh -t $node2 "export JAVA_HOME=$JAVA_HOME; $zk_home/bin/zkServer.sh start"
  ssh -t $node3 "export JAVA_HOME=$JAVA_HOME; $zk_home/bin/zkServer.sh start"

  echo "ZooKeeper started successfully."
}

# 执行命令
start_zookeeper

  echo "Starting HDFS..."
start-dfs.sh
  echo "HDFS started successfully"

  echo "Starting Yarn..."
start-yarn.sh
  echo "Yarn started successfully"

exit 0

**注:**若要改写为一键关闭的脚本不能直接改start-stop,需要严格按照先关闭YARN,接着关闭HDFS和zookeeper的顺序进行!

脚本如下:

复制代码
#!/bin/bash

# 定义节点的主机名或 IP 地址
node1="hadoop01"
node2="hadoop02"
node3="hadoop03"

# 定义 ZooKeeper 的安装路径
zk_home="/opt/programs/apache-zookeeper-3.9.0-bin"
# 定义 jdk 的安装路径
JAVA_HOME=/opt/programs/jdk1.8.0_371
PATH=$JAVA_HOME/bin:$PATH

# 启动 ZooKeeper
stop_zookeeper() {
  echo "Stopping ZooKeeper..."

  # 在每个节点上启动 ZooKeeper 服务器
  ssh -t $node1 "export JAVA_HOME=$JAVA_HOME; $zk_home/bin/zkServer.sh stop"
  ssh -t $node2 "export JAVA_HOME=$JAVA_HOME; $zk_home/bin/zkServer.sh stop"
  ssh -t $node3 "export JAVA_HOME=$JAVA_HOME; $zk_home/bin/zkServer.sh stop"

  echo "ZooKeeper stopped successfully."
}

# 执行命令

 echo "Stopping Yarn..."
stop-yarn.sh
  echo "Yarn stopped successfully"

echo "Stopping HDFS..."
stop-dfs.sh
  echo "HDFS stopped successfully"

stop_zookeeper

exit 0
3.所有脚本文件创建完成后,都要执行如下命令为其设置权限:
复制代码
chmod 777 +文件名
相关推荐
新闻码图3 分钟前
运维数据治理是什么?和业务数据治理有什么区别?
大数据
用户3610588626126 分钟前
从 chroot 到 LXC:四代容器隔离技术演进,Namespace 与 Cgroups 原理拆解
大数据·flink
Aloudata18 分钟前
指标平台与 Data Agent 协同指南:如何让 AI 问数调用可信指标
大数据·人工智能·数据分析·data agent·语义层
dayuOK630734 分钟前
内容创作工具的下一站:从“单点生成”到“工作流智能体”
大数据·人工智能·新媒体运营·aigc·ai写作
jinyishu_1 小时前
Linux基础指令:从Shell原理到权限
linux
YangYang9YangYan1 小时前
商业数据分析校招项目怎么选,附项目设计与简历包装思路
大数据·数据库·数据分析
计算机源码社1 小时前
基于K-Means聚类的新生儿败血症临床分型与可视化分析系统 基于数据挖掘的新生儿败血症生命体征时序走势与关联性可视化研究
大数据·hadoop·python·数据挖掘·数据分析·spark·毕业设计
hi_ro_a1 小时前
基于正倒排索引的boost搜索引擎
linux·c++·搜索引擎·项目
SendTomo1 小时前
.ico透明图标在线生成下载平台深度解析
大数据·数据结构·数据库·数据仓库·个人开发