Apache 原生 Hadoop 运维命令

Hadoop

1、检查原生hadoop和压缩库是否可用

bash 复制代码
hadoop checknative

2、打印hadoop环境的配置路径

bash 复制代码
hadoop classpath

HDFS

1、查看hdfs文件系统的状态

bash 复制代码
hdfs dfsadmin -report


2、获取安全模式的状态

bash 复制代码
hdfs dfsadmin -safemode get

安全模式下只可进行读操作

3、文件系统健康检查

bash 复制代码
hdfs fsck

YARN

1、查看 yarn 中的可用队列配额

bash 复制代码
# default队列
yarn queue -status default
# root队列
yarn queue -status root

2、查看ResourceManager的健康度(做了HA的前提下)

bash 复制代码
yarn rmadmin -checkHealth rm1
yarn rmadmin -checkHealth rm2

3、查看Yarn集群的节点状态信息

bash 复制代码
yarn node -list -all

4、提交mapreduce测试程序到yarn

bash 复制代码
yarn jar ${HADOOP_HOME}/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.3.jar pi 1 1
相关推荐
一叶龙洲1 小时前
win11与Ubuntu之间同步配置、插件
linux·运维·ubuntu
CHANG_THE_WORLD2 小时前
12.总结:深入理解 Linux I/O 多路复用:select、poll、epoll 全解析
linux·运维·服务器
风曦Kisaki2 小时前
# Linux笔记:操作系统优化与资源管理
linux·运维·服务器·笔记
Mr.HeBoYan3 小时前
一次持续三天才出现的丢包故障——深入解析 DPDK Memory Ordering、rte_ring 与 CPU Memory Barrier (下)
linux·网络·算法·架构·dpdk
zhangrelay5 小时前
笔记本轻量高品质延寿工具完整分系统清单
运维·笔记·学习
初願致夕霞5 小时前
C++懒汉单例设计详解
服务器·开发语言·c++
EasyDSS5 小时前
企业数字化培训升级!企业级融媒体平台EasyDSS破解跨区域内训难题,高效沉淀知识资产
大数据·媒体
Discipline~Hai5 小时前
ARM01-ARM体系架构
linux·c语言·arm开发·架构
leoZ2316 小时前
Git 集成实战完全指南(四):Git 冲突解决
大数据·git·elasticsearch
xlrqx6 小时前
家电清洗培训课程类别、培训方式及费用情况究竟有哪些
大数据·python