Hadoop集群的常用命令

Hadoop集群的常用命令涵盖了文件系统操作、作业管理、集群监控等多个方面。以下是一些常用的Hadoop命令及其用途:

文件系统操作

Hadoop分布式文件系统(HDFS)是Hadoop的核心组件之一,以下命令用于管理HDFS中的文件和目录。

复制代码
hadoop fs -ls <path>

列出指定路径下的文件和目录。

复制代码
hadoop fs -mkdir <path>

在HDFS中创建目录。

复制代码
hadoop fs -put <local_path> <hdfs_path>

将本地文件或目录上传到HDFS。

复制代码
hadoop fs -get <hdfs_path> <local_path>

将HDFS中的文件或目录下载到本地。

复制代码
hadoop fs -rm <path>

删除HDFS中的文件或目录。

复制代码
hadoop fs -cat <path>

查看HDFS中文件的内容。

作业管理

Hadoop MapReduce是Hadoop的另一个核心组件,以下命令用于管理MapReduce作业。

复制代码
hadoop jar <jar_file> <main_class> <input_path> <output_path>

提交一个MapReduce作业。

复制代码
hadoop job -list

列出当前正在运行和已完成的作业。

复制代码
hadoop job -kill <job_id>

终止指定的MapReduce作业。

复制代码
hadoop job -status <job_id>

查看指定作业的状态。

集群监控

以下命令用于监控Hadoop集群的状态和性能。

复制代码
hadoop dfsadmin -report

查看HDFS集群的状态报告,包括节点信息、存储使用情况等。

复制代码
hadoop dfsadmin -safemode enter

将HDFS集群进入安全模式,此时只能读取数据,不能写入。

复制代码
hadoop dfsadmin -safemode leave

将HDFS集群退出安全模式,恢复正常读写操作。

复制代码
hadoop fsck <path>

检查HDFS中指定路径的文件系统健康状况。

其他常用命令

复制代码
hadoop version

查看Hadoop的版本信息。

复制代码
hadoop classpath

查看Hadoop的类路径。

复制代码
hadoop namenode -format

格式化HDFS的NameNode,通常在首次启动Hadoop集群时使用。


启动/停止服务

复制代码
   - start-dfs.sh

启动HDFS

复制代码
   - stop-dfs.sh

停止HDFS

复制代码
   - start-yarn.sh

启动YARN

复制代码
   - stop-yarn.sh

停止YARN

相关推荐
宸津-代码粉碎机8 小时前
OpenAI 连夜迎战 Grok Bot 和 Muse:AI 智能体从 “会聊天” 到 “能办事”,现在入场还来得及吗
java·大数据·人工智能·分布式·python
Leo.yuan10 小时前
2026年本地化Data Agent优质厂商盘点:哪些产品更适合企业生产环境
大数据·数据库·人工智能
云上先途10 小时前
任务智能体可以自动完成哪些类型工作,是不是只能做简单重复操作?
大数据·人工智能
小蒋观天下10 小时前
两轮车检测AI摄像头——2026行业竞争格局、商业模式与核心痛点
大数据·人工智能·安全·计算机视觉·ai大模型
RisunJan10 小时前
【这就是AI】AI每日资讯简报 - 2026-09-28(周一)
大数据·人工智能
圆圆讲门店11 小时前
挑选同城获客服务机构时需要考量的核心因素都有哪些?
大数据·网络·人工智能·python
小蒋观天下12 小时前
两轮车检测AI摄像头——2026-2030年未来市场规模、增长逻辑与行业天花板
大数据·人工智能·安全·计算机视觉·ai大模型
pusheng202513 小时前
马年市场快报 | 阿尔及利亚政府推进2200万台家用CO报警器安装计划
大数据·人工智能
2601_9657422213 小时前
布局GEO AI本地营销,我重点看这几个细节
大数据·人工智能·算法·ai·新媒体运营
灰山君13 小时前
山海鲸可视化对比DataEase:企业数据可视化的两种路径
大数据·信息可视化·数据分析·数字孪生·3d模型