Apache 原生 Hadoop 运维命令

Hadoop

1、检查原生hadoop和压缩库是否可用

bash 复制代码
hadoop checknative

2、打印hadoop环境的配置路径

bash 复制代码
hadoop classpath

HDFS

1、查看hdfs文件系统的状态

bash 复制代码
hdfs dfsadmin -report


2、获取安全模式的状态

bash 复制代码
hdfs dfsadmin -safemode get

安全模式下只可进行读操作

3、文件系统健康检查

bash 复制代码
hdfs fsck

YARN

1、查看 yarn 中的可用队列配额

bash 复制代码
# default队列
yarn queue -status default
# root队列
yarn queue -status root

2、查看ResourceManager的健康度(做了HA的前提下)

bash 复制代码
yarn rmadmin -checkHealth rm1
yarn rmadmin -checkHealth rm2

3、查看Yarn集群的节点状态信息

bash 复制代码
yarn node -list -all

4、提交mapreduce测试程序到yarn

bash 复制代码
yarn jar ${HADOOP_HOME}/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.3.jar pi 1 1
相关推荐
水火既济__9 分钟前
大数据hive_mr压缩问题
大数据·hive·mr
水火既济__10 分钟前
hive中加载json数据建表(大规模)
hive·hadoop·json
Irissgwe12 分钟前
四、进程控制(进程创建与终止)
linux·c++·进程·系统编程·fork·进程创建·进程终止
宵时待雨15 分钟前
linux笔记归纳5:进程控制
linux·运维·笔记
一个数据大开发32 分钟前
企业知识工程的三条路线:Neo4j 知识中台、Agent + Action 与本体原生 Runtime
大数据·python·neo4j
ZOOOOOOU36 分钟前
云平台赋能门禁终端,打造智慧社区一体化管理
大数据·数据结构·架构
千瓜42 分钟前
“小赛”掀“大浪”,小红书种草野生玩法
大数据·人工智能·数据分析·生活·新媒体
志栋智能1 小时前
超自动化巡检:实现精细化运维管理的基础
运维·服务器·网络·人工智能·自动化
TOSUN同星1 小时前
同星多工位自动化刷写台架,助力汽车电子高效量产与质量追溯
运维·自动化·汽车
大数据流动1 小时前
OpenMetadata 1.13 正式发布!AI 数据治理开始进入语义上下文时代
大数据·人工智能