Hadoop和zookeeper集群相关执行脚本(未完,持续更新中~)

1、Hadoop集群查看状态

搭建Hadoop数据集群时,按以下路径操作即可生成脚本

[test_1@analysis01 bin]$ pwd

/home/test_1/hadoop/bin

[test_01@analysis01 bin]$ vim jpsall

#!/bin/bash

for host in analysis01 analysis02 analysis03

do

echo =============== $host ===============

ssh $host jps

done

[test_1@analysis01] ./jpsall #运行脚本,查看状态

=============== analysis01 ===============

4304 ResourceManager

3697 NameNode

3833 DataNode

4426 NodeManager

7595 Jps

4063 SecondaryNameNode

=============== analysis02 ===============

4480 Jps

3538 NodeManager

3437 DataNode

=============== analysis03 ===============

3396 DataNode

3487 NodeManager

4431 Jps

2、Hadoop集群关闭

[test_1@analysis01 ~]$ vim shutdown_servers.sh

#!/bin/bash

服务器IP地址列表

servers=("192.168.2.131" "192.168.2.132" "192.168.2.130")

遍历服务器列表

for server in "${servers[@]}"

do

使用ssh登录到服务器并执行关机命令

ssh root@$server 'shutdown -h now'

done

[test_1@analysis01 ~]$ ./ shutdown_servers.sh #执行脚本

3、zookeeper启动关闭

[root@master bin]# vim xzk.sh

#!/bin/bash

cmd=$1

if [ $# -gt 1] ; then echo param must be 1; exit ; fi

echo ================== master $@=============

tput setaf 3

ssh master "source /etc/profile ; zkServer.sh $cmd"

for (( i=1 ; i<=2 ; i++ )) ; do

tput setaf 5

echo ============== slave$i $@ ==================

tput setaf 6

ssh slave$i "source /etc/profile ; zkServer.sh $cmd"

done

[root@master bin]# ./xzk.sh #执行脚本

相关推荐
桃林春风一杯酒4 小时前
HADOOP_HOME and hadoop.home.dir are unset.
大数据·hadoop·分布式
B站计算机毕业设计超人9 小时前
计算机毕业设计Hadoop+Spark+DeepSeek-R1大模型民宿推荐系统 hive民宿可视化 民宿爬虫 大数据毕业设计(源码+LW文档+PPT+讲解)
大数据·hadoop·爬虫·机器学习·课程设计·数据可视化·推荐算法
茶本无香10 小时前
kafka+spring cloud stream 发送接收消息
spring cloud·kafka·java-zookeeper
guihong00411 小时前
深入解析Zookeeper脑裂问题与CAP取舍:从原理到实战
分布式·zookeeper·云原生
知初~17 小时前
出行项目案例
hive·hadoop·redis·sql·mysql·spark·database
m0_7482359520 小时前
Python大数据可视化:基于Python的王者荣耀战队的数据分析系统设计与实现_flask+hadoop+spider
hadoop·python·flask
尚墨11111 天前
linux 安装启动zookeeper全过程及遇到的坑
linux·zookeeper
B站计算机毕业设计超人1 天前
计算机毕业设计hadoop+spark旅游景点推荐 旅游推荐系统 旅游可视化 旅游爬虫 景区客流量预测 旅游大数据 大数据毕业设计
大数据·hadoop·爬虫·深度学习·机器学习·数据可视化·推荐算法
爬山算法1 天前
Zookeeper(58)如何在Zookeeper中实现分布式锁?
分布式·zookeeper·云原生
我要用代码向我喜欢的女孩表白2 天前
hive迁移补数脚本细粒度 表名-分区唯一键
数据仓库·hive·hadoop