hadoop 集群的常用命令

以下是一些 Hadoop 集群的常用命令,包括针对 HDFS(Hadoop 分布式文件系统)和 MapReduce 作业等方面,且相对不太常见:

HDFS 权限相关:

  • 修改文件或目录的所有者: hdfs dfs -chown -R <owner>:\ <path> 。例如, hdfs dfs -chown -R hadoop:hadoop /user/hadoop/data , -R 选项用于递归修改目录及其子目录和文件的所有者。

  • 修改文件或目录的权限: hdfs dfs -chmod -R <mode> <path> 。比如, hdfs dfs -chmod -R 755 /user/hadoop/project , -R 同样用于递归操作, 755 是权限模式。

HDFS 统计信息:

  • 获取文件系统的统计信息: hdfs dfsadmin -report 。这个命令会显示集群中各个数据节点的信息,包括节点状态、存储使用情况等。

  • 显示文件或目录的磁盘空间使用情况: hdfs dfs -du -s -h <path> 。 -s 选项用于汇总指定路径下的总大小, -h 选项以人类可读的格式显示大小,如 hdfs dfs -du -s -h /user/hadoop/data 。

MapReduce 作业相关:

  • 查看 MapReduce 作业的计数器信息: yarn application -appInfo <applicationId> -counter 。可以通过作业 ID 查看作业运行过程中的各种计数器值,了解作业的执行情况。

  • 杀死一个 MapReduce 作业: yarn application -kill <applicationId> 。当发现作业异常或不需要继续运行时,可使用该命令终止作业。

Hadoop 守护进程管理:

  • 安全模式相关:进入安全模式 hdfs dfsadmin -safemode enter ,在安全模式下,HDFS 只允许读操作,用于维护集群状态;离开安全模式 hdfs dfsadmin -safemode leave 。

  • 重新加载 HDFS 的配置: hdfs dfsadmin -refreshNamenodes <datanode_host:port> 。当数据节点的配置发生变化时,可使用此命令让 NameNode 重新加载该数据节点的信息。

相关推荐
大大大大晴天2 小时前
从 HDFS 到对象存储:计算存储分离如何重塑云原生大数据底座
大数据
用户36105886261210 小时前
SparkStreaming 之 updateStateByKey 算子详解及代码实现
大数据·spark
咖啡屋和酒吧12 小时前
“隐性肩颈紧张”正在透支精力|没有酸痛,不代表肩颈处于健康状态
大数据·精选
港股研究社13 小时前
专注履约底座,顺丰同城在即时零售效率时代提升增长动能
大数据·人工智能
AI_yangxi15 小时前
短视频矩阵系统选哪家
大数据·人工智能·矩阵
lupai1 天前
手机在网状态接口实测效果与质量评估
大数据·python·智能手机·api接口
大模型丫丫1 天前
Hermes Agent:轻量级智能体框架实战指南
大数据·运维·服务器
大大大大晴天1 天前
每天认识一个组件:SQL网关Apache Kyuubi
大数据
2601_962218471 天前
万象生鲜系统冷链物联网接入技术实现生鲜企业温控管理数字化
大数据·运维·微服务·云原生·架构
2601_962074811 天前
大数据-264 实时数仓 - Canal MySQL的binlog研究 存储目录 变动信息 配置MySQL
大数据·数据库·mysql