Apache 原生 Hadoop 运维命令

Hadoop

1、检查原生hadoop和压缩库是否可用

bash 复制代码
hadoop checknative

2、打印hadoop环境的配置路径

bash 复制代码
hadoop classpath

HDFS

1、查看hdfs文件系统的状态

bash 复制代码
hdfs dfsadmin -report


2、获取安全模式的状态

bash 复制代码
hdfs dfsadmin -safemode get

安全模式下只可进行读操作

3、文件系统健康检查

bash 复制代码
hdfs fsck

YARN

1、查看 yarn 中的可用队列配额

bash 复制代码
# default队列
yarn queue -status default
# root队列
yarn queue -status root

2、查看ResourceManager的健康度(做了HA的前提下)

bash 复制代码
yarn rmadmin -checkHealth rm1
yarn rmadmin -checkHealth rm2

3、查看Yarn集群的节点状态信息

bash 复制代码
yarn node -list -all

4、提交mapreduce测试程序到yarn

bash 复制代码
yarn jar ${HADOOP_HOME}/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.3.jar pi 1 1
相关推荐
liguojun20251 小时前
篮球馆自动计时收费系统:从规则配置到自动结算的全流程拆解
java·大数据·运维·人工智能·物联网·1024程序员节
大任视点1 小时前
互动之星AI剧集新作上线48小时收益破50万元,树立AI精品剧集商业化新标杆
大数据·人工智能·业界资讯
Promise微笑2 小时前
红外分辨率 160×120、320×240、384×288 与 640×480实战选型指南
大数据·运维·人工智能·物联网
QN1幻化引擎2 小时前
给 AI 做一次「意识体检」——基于 QN1 幻化引擎的灵鉴意识识别框架与 DalinX V5 实测
大数据·数据结构·人工智能·算法·架构
顾喵2 小时前
PetaLinux 2017.4 实操指南:PREEMPT_RT实时补丁移植+Zynq PL中断UIO用户态配置(超完整避坑版)
linux
小樱花的樱花2 小时前
Linux 线程的创建
linux·c语言·开发语言
GEO_ai_zhijian2 小时前
饮料生产线质量检测系统供应商哪家强
大数据·python
云飞云共享云桌面2 小时前
单机建模卡顿运维繁琐!中小型机械制造厂云飞云 3D 云桌面落地
运维·服务器·网络·3d·自动化·电脑·负载均衡
mounter6253 小时前
BPF 的进化史:从网络过滤器到 AI 时代的 Linux 核心引擎
linux·网络·人工智能·ebpf·linux kernel·kernel
CryptoPP3 小时前
BSE股票K线数据接入实战:从接口调用到前端图表展示
大数据·前端·网络·人工智能·websocket·网络协议