hadoop 集群的常用命令

以下是一些 Hadoop 集群的常用命令,包括针对 HDFS(Hadoop 分布式文件系统)和 MapReduce 作业等方面,且相对不太常见:

HDFS 权限相关:

  • 修改文件或目录的所有者: hdfs dfs -chown [-R] <owner>[:<group>] <path> 。例如, hdfs dfs -chown -R hadoop:hadoop /user/hadoop/data , -R 选项用于递归修改目录及其子目录和文件的所有者。

  • 修改文件或目录的权限: hdfs dfs -chmod [-R] <mode> <path> 。比如, hdfs dfs -chmod -R 755 /user/hadoop/project , -R 同样用于递归操作, 755 是权限模式。

HDFS 统计信息:

  • 获取文件系统的统计信息: hdfs dfsadmin -report 。这个命令会显示集群中各个数据节点的信息,包括节点状态、存储使用情况等。

  • 显示文件或目录的磁盘空间使用情况: hdfs dfs -du [-s] [-h] <path> 。 -s 选项用于汇总指定路径下的总大小, -h 选项以人类可读的格式显示大小,如 hdfs dfs -du -s -h /user/hadoop/data 。

MapReduce 作业相关:

  • 查看 MapReduce 作业的计数器信息: yarn application -appInfo <applicationId> -counter 。可以通过作业 ID 查看作业运行过程中的各种计数器值,了解作业的执行情况。

  • 杀死一个 MapReduce 作业: yarn application -kill <applicationId> 。当发现作业异常或不需要继续运行时,可使用该命令终止作业。

Hadoop 守护进程管理:

  • 安全模式相关:进入安全模式 hdfs dfsadmin -safemode enter ,在安全模式下,HDFS 只允许读操作,用于维护集群状态;离开安全模式 hdfs dfsadmin -safemode leave 。

  • 重新加载 HDFS 的配置: hdfs dfsadmin -refreshNamenodes <datanode_host:port> 。当数据节点的配置发生变化时,可使用此命令让 NameNode 重新加载该数据节点的信息。

相关推荐
心止水j17 小时前
spark
javascript·数据库·spark
寰宇视讯1 天前
英孚教育Write Spark青少儿创新写作征集活动正式启动
大数据·分布式·spark
weixin_456904271 天前
# Pandas 与 Spark 数据操作完整教程
大数据·spark·pandas
百度Geek说1 天前
百度APP日志处理框架升级之路
大数据·spark
yumgpkpm1 天前
CMP (类Cloudera) CDP7.3(400次编译)在华为鲲鹏Aarch64(ARM)信创环境中的性能测试过程及命令
大数据·hive·hadoop·python·elasticsearch·spark·cloudera
想你依然心痛1 天前
Spark大数据分析与实战笔记(第六章 Kafka分布式发布订阅消息系统-01)
笔记·分布式·spark
Q26433650231 天前
大数据实战项目-基于K-Means算法与Spark的豆瓣读书数据分析与可视化系统-基于python的豆瓣读书数据分析与可视化大屏
大数据·hadoop·机器学习·数据分析·spark·毕业设计·kmeans
大数据CLUB1 天前
基于spark的抖音短视频数据分析及可视化
大数据·hadoop·分布式·数据分析·spark
Q26433650232 天前
【有源码】基于Hadoop生态的大数据共享单车数据分析与可视化平台-基于Python与大数据的共享单车多维度数据分析可视化系统
大数据·hadoop·python·机器学习·数据分析·spark·毕业设计
计算机毕业设计木哥2 天前
计算机毕设选题推荐:基于Hadoop和Python的游戏销售大数据可视化分析系统
大数据·开发语言·hadoop·python·信息可视化·spark·课程设计