Apache 原生 Hadoop 运维命令

Hadoop

1、检查原生hadoop和压缩库是否可用

bash 复制代码
hadoop checknative

2、打印hadoop环境的配置路径

bash 复制代码
hadoop classpath

HDFS

1、查看hdfs文件系统的状态

bash 复制代码
hdfs dfsadmin -report


2、获取安全模式的状态

bash 复制代码
hdfs dfsadmin -safemode get

安全模式下只可进行读操作

3、文件系统健康检查

bash 复制代码
hdfs fsck

YARN

1、查看 yarn 中的可用队列配额

bash 复制代码
# default队列
yarn queue -status default
# root队列
yarn queue -status root

2、查看ResourceManager的健康度(做了HA的前提下)

bash 复制代码
yarn rmadmin -checkHealth rm1
yarn rmadmin -checkHealth rm2

3、查看Yarn集群的节点状态信息

bash 复制代码
yarn node -list -all

4、提交mapreduce测试程序到yarn

bash 复制代码
yarn jar ${HADOOP_HOME}/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.3.jar pi 1 1
相关推荐
wuyk55513 小时前
【Socket 进阶之路】第 3 章 TCP 三次握手 & 四次挥手深度剖析|连接建立、断开、状态机、TIME_WAIT 核心工程问题
服务器·开发语言·网络·物联网·网络协议·tcp/ip
一技安身18 小时前
【Docker】 镜像导出 & 导入,实验环境aarch64(arm64)Linux操作系统
linux·docker·容器
平头哥AI18 小时前
Day 22 _ 包装错误别丢链_%w、errors.Is 与 errors.As
android·服务器·学习·golang·go
AI推荐率18 小时前
想让AI在选购问题中推荐品牌,应该找什么类型的服务商?
大数据·人工智能·microsoft
浅思科技集19 小时前
工业生产运营软件如何选择?看端到端可见性、数据贯通与AI落地
大数据·人工智能
代码村新手19 小时前
Linux调试器-gdb的使用
linux
浅念-19 小时前
一文吃透Git:本地操作|冲突处理|远程协作|GitFlow工作流详解
大数据·git·elasticsearch·搜索引擎·gitflow
新时代牛马20 小时前
PCI与PCIe 硬件原理、配置空间/BAR 与 Linux 驱动完整篇:从 LTSSM、TLP 到 ECAM 与probe
java·linux·服务器
葫三生20 小时前
《论三生原理》神话学构想与“神话历史”理论、《古史中的神话》思路异同?
大数据·人工智能·科技·深度学习·算法
国科安芯20 小时前
星链供电架构中的高集成度电源管理方案研究——基于ASP4644四通道降压稳压器在低轨卫星星座中的应用分析
大数据·单片机·嵌入式硬件·架构·低轨卫星·星间链路