Hadoop 集群基础指令指南

目录

[🧩 一、Hadoop 基础服务管理指令](#🧩 一、Hadoop 基础服务管理指令)

[▶️ 启动 Hadoop](#▶️ 启动 Hadoop)

[⏹️ 关闭 Hadoop](#⏹️ 关闭 Hadoop)

[🧾 查看进程是否正常运行](#🧾 查看进程是否正常运行)

[📁 二、HDFS 常用文件系统指令](#📁 二、HDFS 常用文件系统指令)

[🛠️ 三、MapReduce 作业运行指令](#🛠️ 三、MapReduce 作业运行指令)

[📋 四、集群状态监控指令](#📋 四、集群状态监控指令)

[💡 五、管理员常用 HDFS 命令](#💡 五、管理员常用 HDFS 命令)


包含 Hadoop 启动/关闭、HDFS 基本操作、MapReduce 提交流程等的常用指令大全,适合刚搭建好 Hadoop 环境后进行操作与测试。


🧩 一、Hadoop 基础服务管理指令

▶️ 启动 Hadoop

复制代码
# 启动 HDFS 和 YARN 所有服务(推荐)
start-dfs.sh
start-yarn.sh

# 或使用统一启动脚本(部分版本支持)
start-all.sh

⏹️ 关闭 Hadoop

复制代码
# 停止 HDFS 和 YARN 所有服务
stop-dfs.sh
stop-yarn.sh

# 或使用统一停止脚本
stop-all.sh

🧾 查看进程是否正常运行

复制代码
jps
# 正常应看到:NameNode、DataNode、ResourceManager、NodeManager 等

📁 二、HDFS 常用文件系统指令

功能 命令
查看根目录 hadoop fs -ls /
创建目录 hadoop fs -mkdir /user/yourname
上传文件 hadoop fs -put test.txt /user/yourname/
下载文件 hadoop fs -get /user/yourname/test.txt ./
删除文件 hadoop fs -rm /user/yourname/test.txt
删除目录 hadoop fs -rm -r /user/yourname/testdir
查看内容 hadoop fs -cat /user/yourname/test.txt
查看空间使用 hadoop fs -du -s /user/yourname/
拷贝文件 hadoop fs -cp /src/file.txt /dst/file.txt
移动文件 hadoop fs -mv /src/file.txt /dst/

🛠️ 三、MapReduce 作业运行指令

复制代码
# 1. 编译 Java 程序并打包为 JAR(假设你写的是 WordCount.java)
javac -classpath `hadoop classpath` -d classes WordCount.java
jar -cvf wordcount.jar -C classes/ .

# 2. 上传输入文件
hadoop fs -mkdir /input
hadoop fs -put input.txt /input/

# 3. 提交 MapReduce 作业(以 WordCount 为例)
hadoop jar wordcount.jar WordCount /input /output

# 4. 查看输出结果
hadoop fs -cat /output/part-r-00000

📋 四、集群状态监控指令

功能 命令
查看作业列表 yarn application -list
查看作业状态 yarn application -status <app_id>
杀死作业 yarn application -kill <app_id>
查看节点 yarn node -list
查看集群资源 yarn cluster --list

💡 五、管理员常用 HDFS 命令

复制代码
# 查看 HDFS 使用状态
hdfs dfsadmin -report

# 刷新节点信息(当编辑了 slaves 文件等)
hdfs dfsadmin -refreshNodes

# 安全模式检查(启动时只读)
hdfs dfsadmin -safemode get
相关推荐
BYSJMG30 分钟前
计算机毕设选题推荐:基于大数据的癌症数据分析与可视化系统
大数据·vue.js·python·数据挖掘·数据分析·课程设计
听麟32 分钟前
HarmonyOS 6.0+ PC端多设备文件拖拽协同开发实战:手眼同行增强与分布式软总线深度应用
分布式·华为·harmonyos
petrel20151 小时前
【Spark 核心内参】2026.1:JIRA vs GitHub Issues 治理模式大讨论与 4.2.0 预览版首发
大数据·spark
闻哥1 小时前
深入理解 ES 词库与 Lucene 倒排索引底层实现
java·大数据·jvm·elasticsearch·面试·springboot·lucene
TracyCoder1231 小时前
全面解析:Elasticsearch 性能优化指南
大数据·elasticsearch·性能优化
bigdata-rookie1 小时前
Starrocks 简介
大数据·数据库·数据仓库
petrel20151 小时前
【Spark 核心内参】2025.9:预览版常态化与数据类型的重构
大数据·spark
行业探路者1 小时前
2026年热销榜单:富媒体展示二维码推荐,助力信息传递新风尚
大数据·音视频·二维码
CTO Plus技术服务中1 小时前
大数据、开发环境、中间件、数据库运维开发教程
大数据·数据库·中间件
BYSJMG1 小时前
2026计算机毕设推荐:基于大数据的车辆二氧化碳排放量可视化分析系统
大数据·vue.js·python·mysql·django·课程设计