Hadoop集群的常用命令

Hadoop集群的常用命令涵盖了文件系统操作、作业管理、集群监控等多个方面。以下是一些常用的Hadoop命令及其用途:

文件系统操作

Hadoop分布式文件系统(HDFS)是Hadoop的核心组件之一,以下命令用于管理HDFS中的文件和目录。

复制代码
hadoop fs -ls <path>

列出指定路径下的文件和目录。

复制代码
hadoop fs -mkdir <path>

在HDFS中创建目录。

复制代码
hadoop fs -put <local_path> <hdfs_path>

将本地文件或目录上传到HDFS。

复制代码
hadoop fs -get <hdfs_path> <local_path>

将HDFS中的文件或目录下载到本地。

复制代码
hadoop fs -rm <path>

删除HDFS中的文件或目录。

复制代码
hadoop fs -cat <path>

查看HDFS中文件的内容。

作业管理

Hadoop MapReduce是Hadoop的另一个核心组件,以下命令用于管理MapReduce作业。

复制代码
hadoop jar <jar_file> <main_class> <input_path> <output_path>

提交一个MapReduce作业。

复制代码
hadoop job -list

列出当前正在运行和已完成的作业。

复制代码
hadoop job -kill <job_id>

终止指定的MapReduce作业。

复制代码
hadoop job -status <job_id>

查看指定作业的状态。

集群监控

以下命令用于监控Hadoop集群的状态和性能。

复制代码
hadoop dfsadmin -report

查看HDFS集群的状态报告,包括节点信息、存储使用情况等。

复制代码
hadoop dfsadmin -safemode enter

将HDFS集群进入安全模式,此时只能读取数据,不能写入。

复制代码
hadoop dfsadmin -safemode leave

将HDFS集群退出安全模式,恢复正常读写操作。

复制代码
hadoop fsck <path>

检查HDFS中指定路径的文件系统健康状况。

其他常用命令

复制代码
hadoop version

查看Hadoop的版本信息。

复制代码
hadoop classpath

查看Hadoop的类路径。

复制代码
hadoop namenode -format

格式化HDFS的NameNode,通常在首次启动Hadoop集群时使用。


启动/停止服务

复制代码
   - start-dfs.sh

启动HDFS

复制代码
   - stop-dfs.sh

停止HDFS

复制代码
   - start-yarn.sh

启动YARN

复制代码
   - stop-yarn.sh

停止YARN

相关推荐
IT研究所1 小时前
AI 时代下的知识管理:从 Claude 的“复盘”能力看生成式 AI价值
大数据·运维·数据库·人工智能·科技·低代码·自然语言处理
云边云科技_云网融合2 小时前
企业出海的 “数字丝绸之路“:SD-WAN 如何重构全球网络竞争力
大数据·运维·网络·人工智能
JZC_xiaozhong2 小时前
2026年深圳企业如何统一管理ERP、MES、OA权限?身份识别与访问管理高效方案
大数据·运维·自动化·企业数据安全·数据集成与应用集成·权限治理·多系统权限管理
189228048613 小时前
NV243美光MT29F32T08GWLBHD6-24QJES:B
大数据·服务器·人工智能·科技·缓存
2601_958548483 小时前
利川避暑民宿舒适化运营:客流增长策略深度解析
大数据
明明跟你说过3 小时前
Kafka 与 Elasticsearch 的集成应用案例深度解析
大数据·elk·elasticsearch·kafka·big data·bigdata
拾-光3 小时前
【Git】命令大全:从入门到高手,100 个最常用命令速查(2026 版)
java·大数据·人工智能·git·python·elasticsearch·设计模式
2301_816997883 小时前
性能调优(基于 Elasticsearch 8.x)
大数据·elasticsearch·搜索引擎
易知微EasyV数据可视化4 小时前
数序重构・智启新生|袋鼠云发布Data+AI智能飞轮战略,2026春季发布会圆满落幕
大数据·人工智能·经验分享·数字孪生·空间智能
爱码小白4 小时前
MySQL索引与SQL优化
大数据·数据库·python