大数据日常运维命令

1、HDFS NameNode

/usr/local/fqlhadoop/hadoop/sbin/hadoop-daemon.sh start namenode

/usr/local/fqlhadoop/hadoop/sbin/hadoop-daemon.sh stop namenode

bin/hdfs haadmin -DFSHAAdmin -getServiceState n1

2、HDFS DataNode

/usr/local/fqlhadoop/hadoop/sbin/hadoop-daemon.sh start datanode

/usr/local/fqlhadoop/hadoop/sbin/hadoop-daemon.sh stop datanode

bin/yarn rmadmin -getServiceState rm1

3、Yarn ResourceManager

/usr/local/fqlhadoop/hadoop/sbin/yarn-daemon.sh start resourcemanager

/usr/local/fqlhadoop/hadoop/sbin/yarn-daemon.sh stop resourcemanager

4、Yarn NodeManager

/usr/local/fqlhadoop/hadoop/sbin/yarn-daemon.sh start nodemanager

/usr/local/fqlhadoop/hadoop/sbin/yarn-daemon.sh stop nodemanager

5、Yarn WebAppProxyServer

/usr/local/fqlhadoop/hadoop/sbin/yarn-daemon.sh stop proxyserver

/usr/local/fqlhadoop/hadoop/sbin/yarn-daemon.sh start proxyserver

6、Hive

/usr/local/fqlhadoop/hive/bin/hive --service metastore -p 3316 &

ps -ef | grep 'org.apache.hadoop.hive.metastore.HiveMetaStore' | grep -v grep | awk '{print $2}' | xargs kill -9

7、Spark

spark-sql --master=yarn --queue lx_etl --driver-memory 1g --driver-java-options '-XX:MetaspaceSize=1g -XX:MaxMetaspaceSize=1g' --num-executors 1 --executor-memory 1g --executor-cores 1 --conf spark.yarn.am.memory=2048m --hiveconf hive.cli.print.header=false

Spark history 服务

/usr/local/fqlhadoop/spark/sbin/stop-history-server.sh hdfs://hacluster/sparklog

/usr/local/fqlhadoop/spark/sbin/start-history-server.sh

/usr/local/fqlhadoop/spark/sbin/start-history-server.sh hdfs://hacluster/sparklog

8、HBase

/usr/local/fqlhadoop/hbase/bin/hbase-daemon.sh stop master

/usr/local/fqlhadoop/hbase/bin/hbase-daemon.sh start master

/usr/local/fqlhadoop/hbase/bin/hbase-daemon.sh stop regionserver

/usr/local/fqlhadoop/hbase/bin/hbase-daemon.sh start regionserver

相关推荐
珠海西格电力5 小时前
零碳园区有哪些政策支持?
大数据·数据库·人工智能·物联网·能源
LJ97951115 小时前
AI如何重构媒介宣发:从资源博弈到智能匹配的技术跃迁
大数据
TH_15 小时前
35、AI自动化技术与职业变革探讨
运维·人工智能·自动化
数据皮皮侠AI6 小时前
上市公司股票名称相似度(1990-2025)
大数据·人工智能·笔记·区块链·能源·1024程序员节
yuhaiqun19897 小时前
学服务器训练AI模型:5步路径助力高效入门
运维·服务器·人工智能·笔记·机器学习·ai
Zoey的笔记本7 小时前
金融行业数据可视化平台:破解数据割裂与决策迟滞的系统性方案
大数据·信息可视化·数据分析
huaweichenai7 小时前
docker部署kkFileView实现文件预览功能
运维·docker·容器
2501_933670797 小时前
大数据与财务管理专业就业岗位方向
大数据
以太浮标7 小时前
华为eNSP模拟器综合实验之-BFD联动配置解析
运维·网络·华为·信息与通信
工程师老罗7 小时前
龙芯2k0300 PMON取消Linux自启动
linux·运维·服务器