文章目录
Linux中Hadoop常用命令
一、引言
Hadoop作为一个强大的分布式系统基础架构,广泛应用于大数据处理。掌握其常用命令对于开发和运维人员来说至关重要。本文将详细介绍在Linux环境下Hadoop的常用命令,帮助用户高效管理Hadoop集群。
二、文件系统操作命令
1、目录与文件操作
2.1、创建和删除目录
- 创建目录:
hdfs dfs -mkdir /path/to/directory
- 删除目录:
hdfs dfs -rm -r /path/to/directory
2.2、查看目录内容
- 列出目录内容:
hdfs dfs -ls /path/to/directory
- 递归列出目录内容:
hdfs dfs -ls -R /path/to/directory
2.3、文件上传与下载
- 上传文件:
hdfs dfs -put localfile /path/to/hdfs
- 下载文件:
hdfs dfs -get /path/to/hdfs localfile
2.4、查看文件内容
- 查看文本文件内容:
hdfs dfs -cat /path/to/file
- 查看文件最后1000字节:
hdfs dfs -tail /path/to/file
2、文件属性管理
2.1、修改文件权限
- 修改文件权限:
hdfs dfs -chmod 755 /path/to/file
2.2、修改文件所有者
- 修改文件所有者:
hdfs dfs -chown user:group /path/to/file
三、系统管理命令
1、查看集群状态
- 查看Hadoop版本:
hdfs version
- 查看NameNode状态:
jps
(查看Java进程,确认NameNode是否运行)
2、启动与停止服务
3.1、启动Hadoop集群
- 启动所有服务:
start-all.sh
- 启动NameNode和DataNode:
start-dfs.sh
- 启动ResourceManager和NodeManager:
start-yarn.sh
3.2、停止Hadoop集群
- 停止所有服务:
stop-all.sh
- 停止NameNode和DataNode:
stop-dfs.sh
- 停止ResourceManager和NodeManager:
stop-yarn.sh
3、格式化和升级
3.1、格式化文件系统
- 格式化NameNode:
hdfs namenode -format
3.2、升级集群
- 升级前的准备:
hdfs namenode -upgrade
- 回滚升级:
hdfs namenode -rollback
- 完成升级:
hdfs namenode -finalize
四、MapReduce作业管理
1、提交和运行作业
- 提交作业:
hadoop jar job.jar
- 查看作业状态:
hadoop job -status job_id
2、杀死作业
- 杀死作业:
hadoop job -kill job_id
五、HDFS文件一致性检查
- 检查文件系统一致性:
hdfs fsck /path/to/directory
六、总结
掌握Hadoop的常用命令是进行大数据处理的基础。通过本文的介绍,用户应能够熟悉并运用这些命令进行日常的Hadoop集群管理与维护。
版权声明:本博客内容为原创,转载请保留原文链接及作者信息。
参考文章: