Hadoop和zookeeper集群相关执行脚本(未完,持续更新中~)

1、Hadoop集群查看状态

搭建Hadoop数据集群时,按以下路径操作即可生成脚本

test_1@analysis01 bin$ pwd

/home/test_1/hadoop/bin

test_01@analysis01 bin$ vim jpsall

#!/bin/bash

for host in analysis01 analysis02 analysis03

do

echo =============== $host ===============

ssh $host jps

done

test_1@analysis01 ./jpsall #运行脚本,查看状态

=============== analysis01 ===============

4304 ResourceManager

3697 NameNode

3833 DataNode

4426 NodeManager

7595 Jps

4063 SecondaryNameNode

=============== analysis02 ===============

4480 Jps

3538 NodeManager

3437 DataNode

=============== analysis03 ===============

3396 DataNode

3487 NodeManager

4431 Jps

2、Hadoop集群关闭

test_1@analysis01 \~$ vim shutdown_servers.sh

#!/bin/bash

服务器IP地址列表

servers=("192.168.2.131" "192.168.2.132" "192.168.2.130")

遍历服务器列表

for server in "${servers@}"

do

使用ssh登录到服务器并执行关机命令

ssh root@$server 'shutdown -h now'

done

test_1@analysis01 \~$ ./ shutdown_servers.sh #执行脚本

3、zookeeper启动关闭

root@master bin# vim xzk.sh

#!/bin/bash

cmd=$1

if $# -gt 1 ; then echo param must be 1; exit ; fi

echo ================== master $@=============

tput setaf 3

ssh master "source /etc/profile ; zkServer.sh $cmd"

for (( i=1 ; i<=2 ; i++ )) ; do

tput setaf 5

echo ============== slavei @ ==================

tput setaf 6

ssh slavei "source /etc/profile ; zkServer.sh cmd"

done

root@master bin# ./xzk.sh #执行脚本

相关推荐
测试盐3 小时前
spark作业日志定位过程
java·hadoop·spark
NiceZack1 天前
Hadoop 部署全流程教程:从新装 CentOS 到伪分布式与完全分布式
hadoop·分布式·centos
螺蛳粉 螺蛳粉3 天前
CDH第七篇:CDH 集成 Kafka 实战:CSD + Parcel 组合拳,先装 ZooKeeper 是铁律
物联网·zookeeper·kafka·消息队列·parcel·cdh集成·csd
棣廷3 天前
初识Hive(2)
数据仓库·hive·hadoop
father_12274 天前
【ambari管理下hdp2.6.5升级hive1.2.1-2.1.0-2.3.3】
hive·hadoop·ambari
magic_kid_20104 天前
HDFS 故障复盘:千万级 block 导致 FBR 超过 128 MiB,DataNode 被判定为 dead
大数据·hadoop·hdfs·hadoop 故障
小刘在重生~5 天前
Servlet_day2 (上)|Servlet 整合 JDBC|请求转发 forward|Request 作用域
hive·hadoop·servlet
chunyublog5 天前
FinalShell 远程连接 Hadoop 三节点集群教程
大数据·hadoop·分布式
ha_lydms7 天前
AnalyticDB MySQL 技术架构
大数据·hadoop·mysql·adb·spark·dataworks·1024程序员节
螺蛳粉 螺蛳粉8 天前
大数据第四篇:事故复盘:移走 HBase 里 27 个 hadoop-2.10.2 jar 后,HMaster 半小时后“自杀“了【jar 事故复盘】
jvm·hadoop·hbase·异常处理·大数据运维·踩坑记录·事故复盘