大数据日常运维命令

1、HDFS NameNode

/usr/local/fqlhadoop/hadoop/sbin/hadoop-daemon.sh start namenode

/usr/local/fqlhadoop/hadoop/sbin/hadoop-daemon.sh stop namenode

bin/hdfs haadmin -DFSHAAdmin -getServiceState n1

2、HDFS DataNode

/usr/local/fqlhadoop/hadoop/sbin/hadoop-daemon.sh start datanode

/usr/local/fqlhadoop/hadoop/sbin/hadoop-daemon.sh stop datanode

bin/yarn rmadmin -getServiceState rm1

3、Yarn ResourceManager

/usr/local/fqlhadoop/hadoop/sbin/yarn-daemon.sh start resourcemanager

/usr/local/fqlhadoop/hadoop/sbin/yarn-daemon.sh stop resourcemanager

4、Yarn NodeManager

/usr/local/fqlhadoop/hadoop/sbin/yarn-daemon.sh start nodemanager

/usr/local/fqlhadoop/hadoop/sbin/yarn-daemon.sh stop nodemanager

5、Yarn WebAppProxyServer

/usr/local/fqlhadoop/hadoop/sbin/yarn-daemon.sh stop proxyserver

/usr/local/fqlhadoop/hadoop/sbin/yarn-daemon.sh start proxyserver

6、Hive

/usr/local/fqlhadoop/hive/bin/hive --service metastore -p 3316 &

ps -ef | grep 'org.apache.hadoop.hive.metastore.HiveMetaStore' | grep -v grep | awk '{print $2}' | xargs kill -9

7、Spark

spark-sql --master=yarn --queue lx_etl --driver-memory 1g --driver-java-options '-XX:MetaspaceSize=1g -XX:MaxMetaspaceSize=1g' --num-executors 1 --executor-memory 1g --executor-cores 1 --conf spark.yarn.am.memory=2048m --hiveconf hive.cli.print.header=false

Spark history 服务

/usr/local/fqlhadoop/spark/sbin/stop-history-server.sh hdfs://hacluster/sparklog

/usr/local/fqlhadoop/spark/sbin/start-history-server.sh

/usr/local/fqlhadoop/spark/sbin/start-history-server.sh hdfs://hacluster/sparklog

8、HBase

/usr/local/fqlhadoop/hbase/bin/hbase-daemon.sh stop master

/usr/local/fqlhadoop/hbase/bin/hbase-daemon.sh start master

/usr/local/fqlhadoop/hbase/bin/hbase-daemon.sh stop regionserver

/usr/local/fqlhadoop/hbase/bin/hbase-daemon.sh start regionserver

相关推荐
跨境卫士情报站12 分钟前
TikTok跨境电商第二增长曲线:从“跑量”到“跑利润”的精细化运营
大数据·人工智能·产品运营·跨境电商·tiktok·营销策略
Data-Miner13 分钟前
集团数字化转型采购供应链及财务管控业务流程蓝图规划方案(170页PPT)
大数据
志凌海纳SmartX24 分钟前
金融行业IT基础设施转型实践|450+机构部署轻量云,支持核心生产与信创业务
大数据·数据库·金融
Coder个人博客1 小时前
Linux6.19-ARM64 mm mmap子模块深入分析
大数据·linux·安全·车载系统·系统架构·系统安全·鸿蒙系统
江畔何人初1 小时前
/etc/profile,.profile,.bashrc三者区分
linux·运维·云原生
会飞的土拨鼠呀1 小时前
Ubuntu系统缺少 iptables 工具
linux·运维·ubuntu
前端玖耀里1 小时前
详细介绍Linux命令dig和nslookup
linux·运维·服务器
走遍西兰花.jpg1 小时前
spark配置
大数据·分布式·spark
星期五不见面1 小时前
jetson naon super使用 sudo /opt/nvidia/jetson-io/jetson-io.py 界面闪退
linux·运维·服务器
FreeBuf_1 小时前
AutoPentestX:面向 Linux 系统的自动化渗透测试工具包
linux·运维·自动化