Hadoop 集群基础指令指南

[🧩 一、Hadoop 基础服务管理指令](#🧩 一、Hadoop 基础服务管理指令)

[▶️ 启动 Hadoop](#▶️ 启动 Hadoop)

[⏹️ 关闭 Hadoop](#⏹️ 关闭 Hadoop)

[🧾 查看进程是否正常运行](#🧾 查看进程是否正常运行)

[📁 二、HDFS 常用文件系统指令](#📁 二、HDFS 常用文件系统指令)

[🛠️ 三、MapReduce 作业运行指令](#🛠️ 三、MapReduce 作业运行指令)

[📋 四、集群状态监控指令](#📋 四、集群状态监控指令)

[💡 五、管理员常用 HDFS 命令](#💡 五、管理员常用 HDFS 命令)

包含 Hadoop 启动/关闭、HDFS 基本操作、MapReduce 提交流程等的常用指令大全，适合刚搭建好 Hadoop 环境后进行操作与测试。

🧩 一、Hadoop 基础服务管理指令

▶️ 启动 Hadoop

复制代码

# 启动 HDFS 和 YARN 所有服务（推荐）
start-dfs.sh
start-yarn.sh

# 或使用统一启动脚本（部分版本支持）
start-all.sh

⏹️ 关闭 Hadoop

复制代码

# 停止 HDFS 和 YARN 所有服务
stop-dfs.sh
stop-yarn.sh

# 或使用统一停止脚本
stop-all.sh

🧾 查看进程是否正常运行

复制代码

jps
# 正常应看到：NameNode、DataNode、ResourceManager、NodeManager 等

📁 二、HDFS 常用文件系统指令

功能	命令
查看根目录	`hadoop fs -ls /`
创建目录	`hadoop fs -mkdir /user/yourname`
上传文件	`hadoop fs -put test.txt /user/yourname/`
下载文件	`hadoop fs -get /user/yourname/test.txt ./`
删除文件	`hadoop fs -rm /user/yourname/test.txt`
删除目录	`hadoop fs -rm -r /user/yourname/testdir`
查看内容	`hadoop fs -cat /user/yourname/test.txt`
查看空间使用	`hadoop fs -du -s /user/yourname/`
拷贝文件	`hadoop fs -cp /src/file.txt /dst/file.txt`
移动文件	`hadoop fs -mv /src/file.txt /dst/`

🛠️ 三、MapReduce 作业运行指令

复制代码

# 1. 编译 Java 程序并打包为 JAR（假设你写的是 WordCount.java）
javac -classpath `hadoop classpath` -d classes WordCount.java
jar -cvf wordcount.jar -C classes/ .

# 2. 上传输入文件
hadoop fs -mkdir /input
hadoop fs -put input.txt /input/

# 3. 提交 MapReduce 作业（以 WordCount 为例）
hadoop jar wordcount.jar WordCount /input /output

# 4. 查看输出结果
hadoop fs -cat /output/part-r-00000

📋 四、集群状态监控指令

功能	命令
查看作业列表	`yarn application -list`
查看作业状态	`yarn application -status <app_id>`
杀死作业	`yarn application -kill <app_id>`
查看节点	`yarn node -list`
查看集群资源	`yarn cluster --list`

💡 五、管理员常用 HDFS 命令

复制代码

# 查看 HDFS 使用状态
hdfs dfsadmin -report

# 刷新节点信息（当编辑了 slaves 文件等）
hdfs dfsadmin -refreshNodes

# 安全模式检查（启动时只读）
hdfs dfsadmin -safemode get