Apache 原生 Hadoop 运维命令

Hadoop

1、检查原生hadoop和压缩库是否可用

bash 复制代码
hadoop checknative

2、打印hadoop环境的配置路径

bash 复制代码
hadoop classpath

HDFS

1、查看hdfs文件系统的状态

bash 复制代码
hdfs dfsadmin -report


2、获取安全模式的状态

bash 复制代码
hdfs dfsadmin -safemode get

安全模式下只可进行读操作

3、文件系统健康检查

bash 复制代码
hdfs fsck

YARN

1、查看 yarn 中的可用队列配额

bash 复制代码
# default队列
yarn queue -status default
# root队列
yarn queue -status root

2、查看ResourceManager的健康度(做了HA的前提下)

bash 复制代码
yarn rmadmin -checkHealth rm1
yarn rmadmin -checkHealth rm2

3、查看Yarn集群的节点状态信息

bash 复制代码
yarn node -list -all

4、提交mapreduce测试程序到yarn

bash 复制代码
yarn jar ${HADOOP_HOME}/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.3.jar pi 1 1
相关推荐
阿巴~阿巴~10 小时前
自定义协议设计与实践:从协议必要性到JSON流式处理
服务器·网络·网络协议·json·操作系统·自定义协议
虚伪的空想家10 小时前
KVM的ubuntu虚机如何关闭安全启动
linux·安全·ubuntu
ALex_zry12 小时前
Docker Compose运维技术实战分享:从安装到架构解析
运维·docker·架构
测试界的海飞丝16 小时前
10道软件测试面试题及其答案:
服务器·测试工具·职场和发展
t1987512816 小时前
在Ubuntu 22.04系统上安装libimobiledevice
linux·运维·ubuntu
skywalk816316 小时前
linux安装Code Server 以便Comate IDE和CodeBuddy等都可以远程连上来
linux·运维·服务器·vscode·comate
2501_9416233216 小时前
人工智能赋能智慧农业互联网应用:智能种植、农业数据分析与产量优化实践探索》
大数据·人工智能
@游子16 小时前
内网渗透笔记-Day5
运维·服务器
晚风吹人醒.17 小时前
缓存中间件Redis安装及功能演示、企业案例
linux·数据库·redis·ubuntu·缓存·中间件
YangYang9YangYan17 小时前
网络安全专业职业能力认证发展路径指南
大数据·人工智能·安全·web安全