大数据日常运维命令

1、HDFS NameNode

/usr/local/fqlhadoop/hadoop/sbin/hadoop-daemon.sh start namenode

/usr/local/fqlhadoop/hadoop/sbin/hadoop-daemon.sh stop namenode

bin/hdfs haadmin -DFSHAAdmin -getServiceState n1

2、HDFS DataNode

/usr/local/fqlhadoop/hadoop/sbin/hadoop-daemon.sh start datanode

/usr/local/fqlhadoop/hadoop/sbin/hadoop-daemon.sh stop datanode

bin/yarn rmadmin -getServiceState rm1

3、Yarn ResourceManager

/usr/local/fqlhadoop/hadoop/sbin/yarn-daemon.sh start resourcemanager

/usr/local/fqlhadoop/hadoop/sbin/yarn-daemon.sh stop resourcemanager

4、Yarn NodeManager

/usr/local/fqlhadoop/hadoop/sbin/yarn-daemon.sh start nodemanager

/usr/local/fqlhadoop/hadoop/sbin/yarn-daemon.sh stop nodemanager

5、Yarn WebAppProxyServer

/usr/local/fqlhadoop/hadoop/sbin/yarn-daemon.sh stop proxyserver

/usr/local/fqlhadoop/hadoop/sbin/yarn-daemon.sh start proxyserver

6、Hive

/usr/local/fqlhadoop/hive/bin/hive --service metastore -p 3316 &

ps -ef | grep 'org.apache.hadoop.hive.metastore.HiveMetaStore' | grep -v grep | awk '{print $2}' | xargs kill -9

7、Spark

spark-sql --master=yarn --queue lx_etl --driver-memory 1g --driver-java-options '-XX:MetaspaceSize=1g -XX:MaxMetaspaceSize=1g' --num-executors 1 --executor-memory 1g --executor-cores 1 --conf spark.yarn.am.memory=2048m --hiveconf hive.cli.print.header=false

Spark history 服务

/usr/local/fqlhadoop/spark/sbin/stop-history-server.sh hdfs://hacluster/sparklog

/usr/local/fqlhadoop/spark/sbin/start-history-server.sh

/usr/local/fqlhadoop/spark/sbin/start-history-server.sh hdfs://hacluster/sparklog

8、HBase

/usr/local/fqlhadoop/hbase/bin/hbase-daemon.sh stop master

/usr/local/fqlhadoop/hbase/bin/hbase-daemon.sh start master

/usr/local/fqlhadoop/hbase/bin/hbase-daemon.sh stop regionserver

/usr/local/fqlhadoop/hbase/bin/hbase-daemon.sh start regionserver

相关推荐
23级二本计科8 分钟前
NAT NAPT
运维·服务器·网络
大小科圣14 分钟前
lnmp平台
运维·服务器·nginx
听风吹等浪起19 分钟前
计算机网络基础:IIS服务器(WEB服务器)
运维·服务器·计算机网络
DavidSoCool1 小时前
Elasticsearch Java API Client [8.17] 使用
java·大数据·elasticsearch
niuTaylor1 小时前
【Linux和RTOS简析】
linux·运维·服务器·macos·macbook air·换硬盘·扩内存
落——枫1 小时前
操作系统知识点23
linux·运维·服务器
用户199701080181 小时前
淘宝买家/卖家订单列表、订单详情、订单物流 API 接口全攻略
大数据
Arbori_262151 小时前
大数据 spark hive 总结
大数据·hive·spark
阿里云大数据AI技术1 小时前
中免日上使用阿里云向量检索服务 Milvus 版搭建在线推荐系统
大数据
Arbori_262151 小时前
linux 命令sed
linux·运维·服务器