大数据日常运维命令

1、HDFS NameNode

/usr/local/fqlhadoop/hadoop/sbin/hadoop-daemon.sh start namenode

/usr/local/fqlhadoop/hadoop/sbin/hadoop-daemon.sh stop namenode

bin/hdfs haadmin -DFSHAAdmin -getServiceState n1

2、HDFS DataNode

/usr/local/fqlhadoop/hadoop/sbin/hadoop-daemon.sh start datanode

/usr/local/fqlhadoop/hadoop/sbin/hadoop-daemon.sh stop datanode

bin/yarn rmadmin -getServiceState rm1

3、Yarn ResourceManager

/usr/local/fqlhadoop/hadoop/sbin/yarn-daemon.sh start resourcemanager

/usr/local/fqlhadoop/hadoop/sbin/yarn-daemon.sh stop resourcemanager

4、Yarn NodeManager

/usr/local/fqlhadoop/hadoop/sbin/yarn-daemon.sh start nodemanager

/usr/local/fqlhadoop/hadoop/sbin/yarn-daemon.sh stop nodemanager

5、Yarn WebAppProxyServer

/usr/local/fqlhadoop/hadoop/sbin/yarn-daemon.sh stop proxyserver

/usr/local/fqlhadoop/hadoop/sbin/yarn-daemon.sh start proxyserver

6、Hive

/usr/local/fqlhadoop/hive/bin/hive --service metastore -p 3316 &

ps -ef | grep 'org.apache.hadoop.hive.metastore.HiveMetaStore' | grep -v grep | awk '{print $2}' | xargs kill -9

7、Spark

spark-sql --master=yarn --queue lx_etl --driver-memory 1g --driver-java-options '-XX:MetaspaceSize=1g -XX:MaxMetaspaceSize=1g' --num-executors 1 --executor-memory 1g --executor-cores 1 --conf spark.yarn.am.memory=2048m --hiveconf hive.cli.print.header=false

Spark history 服务

/usr/local/fqlhadoop/spark/sbin/stop-history-server.sh hdfs://hacluster/sparklog

/usr/local/fqlhadoop/spark/sbin/start-history-server.sh

/usr/local/fqlhadoop/spark/sbin/start-history-server.sh hdfs://hacluster/sparklog

8、HBase

/usr/local/fqlhadoop/hbase/bin/hbase-daemon.sh stop master

/usr/local/fqlhadoop/hbase/bin/hbase-daemon.sh start master

/usr/local/fqlhadoop/hbase/bin/hbase-daemon.sh stop regionserver

/usr/local/fqlhadoop/hbase/bin/hbase-daemon.sh start regionserver

相关推荐
Hello.Reader2 分钟前
Flink 对接 Google Cloud Storage(GCS)读写、Checkpoint、插件安装与生产配置指南
大数据·flink
浪子小院1 小时前
ModelEngine 智能体全流程开发实战:从 0 到 1 搭建多协作办公助手
大数据·人工智能
聆风吟º1 小时前
CANN开源项目实战指南:使用oam-tools构建自动化故障诊断与运维可观测性体系
运维·开源·自动化·cann
NPE~1 小时前
自动化工具Drissonpage 保姆级教程(含xpath语法)
运维·后端·爬虫·自动化·网络爬虫·xpath·浏览器自动化
神梦流2 小时前
GE 引擎的内存优化终局:静态生命周期分析指导下的内存分配与复用策略
linux·运维·服务器
AEIC学术交流中心2 小时前
【快速EI检索 | ACM出版】2026年大数据与智能制造国际学术会议(BDIM 2026)
大数据·制造
wending-Y2 小时前
记录一次排查Flink一直重启的问题
大数据·flink
UI设计兰亭妙微2 小时前
医疗大数据平台电子病例界面设计
大数据·界面设计
Lsir10110_2 小时前
【Linux】进程信号(下半)
linux·运维·服务器
初恋叫萱萱2 小时前
模型瘦身实战:用 `cann-model-compression-toolkit` 实现高效 INT8 量化
大数据