linux-shell脚本收集

创建同步脚本xsync

sh 复制代码
mkdir -p /home/hadoop/bin && cd /home/hadoop/bin
vim xsync
sh 复制代码
#!/bin/bash

#1. 判断参数个数
if [ $# -lt 1 ]
then
    echo Not Arguement
    exit;
fi

#2. 遍历集群所有机器
for host in node1 node2 node3
do
    echo ====================  $host  ====================
    #3. 遍历所有目录,挨个发送

    for file in $@
    do
        #4. 判断文件是否存在
        if [ -e $file ]
            then
                #5. 获取父目录
                pdir=$(cd -P $(dirname $file); pwd)

                #6. 获取当前文件的名称
                fname=$(basename $file)
                ssh $host "mkdir -p $pdir"
                rsync -av $pdir/$fname $host:$pdir
            else
                echo $file does not exists!
        fi
    done
done

chmod +x xsync.sh

创建jps状态打印

vim /export/server/hadoop/sbin/jpsall.sh

sh 复制代码
#!/bin/bash
for host in node1 node2 node3
do
        echo =============== $host ===============
        ssh $host $JAVA_HOME/bin/jps
done

chmod +x jpsall.sh

hadoop启动脚本

cd /export/hadoop/sbin

vim exec-hadoop.sh

sh 复制代码
#!/bin/bash
if [ $# -lt 1 ]
then
    echo "No Args Input..."
    exit ;
fi
case $1 in
"start")
        echo " =================== 启动 hadoop集群 ==================="
        echo " --------------- 启动 hdfs ---------------"
        ssh node2 $HADOOP_HOME/sbin/start-dfs.sh
        echo " --------------- 启动 yarn ---------------"
        ssh node1 $HADOOP_HOME/sbin/start-yarn.sh
        echo " --------------- 启动 historyserver ---------------"
        ssh node2 $HADOOP_HOME/bin/mapred --daemon start historyserver
        echo " --------------- 启动 spark ---------------"
        ssh node2 $SPARK_HOME/sbin/start-all.sh
        echo " --------------- 启动 spark 历史服务器 ---------------"
        ssh node2 $SPARK_HOME/sbin/start-history-server.sh
	# ssh node2 /export/server/zookeeper/bin/zk.sh start
;;
"stop")
        echo " =================== 关闭 hadoop集群 ==================="
        echo " --------------- stop historyserver ---------------"
        ssh node2 $HADOOP_HOME/bin/mapred --daemon stop historyserver
        echo " --------------- stop yarn ---------------"
        ssh node1 $HADOOP_HOME/sbin/stop-yarn.sh
        echo " --------------- stop hdfs ---------------"
        ssh node2 $HADOOP_HOME/sbin/stop-dfs.sh
        echo " --------------- stop spark ---------------"
        ssh node2 $SPARK_HOME/sbin/stop-all.sh
        echo " --------------- stop spark 历史服务器 ---------------"
        ssh node2 $SPARK_HOME/sbin/stop-history-server.sh
	# ssh node2 /export/server/zookeeper/bin/zk.sh stop
;;
*)
    echo "Input Args Error..."
;;
esac

chmod +x exec-hadoop.sh

相关推荐
Tipriest_4 分钟前
linux git ssh配置过程
linux·git·ssh
吃不胖没烦恼13 分钟前
Docker 初学者需要了解的几个知识点 (五):建容器需要进一步了解的概念
运维·docker·容器
运维小杨22 分钟前
linux运维学习第十三周
运维·学习
三不原则1 小时前
自动化与配置管理工具 ——Puppet
运维·自动化·puppet
dessler1 小时前
RabbitMQ-伪集群部署(Cluster)
linux·运维·rabbitmq
jzy37111 小时前
国产化适配鲲鹏arm环境:hive on tez 单节点部署实践总结
linux·hadoop·apache hive
阿巴~阿巴~1 小时前
Linux核心转储(Core Dump)原理、配置与调试实践
linux·运维·服务器
第四维度42 小时前
【Debian】4-‌2 Gitea搭建
运维·debian·gitea
程序员的世界你不懂2 小时前
Jmeter 命令行压测、HTML 报告、Jenkins 配置目录
运维·jmeter·jenkins
Sadsvit2 小时前
Linux 时钟同步配置:基础管理与 chrony 工具应用
linux·运维·chrome