Linux中Hadoop常用命令

文章目录

Linux中Hadoop常用命令

一、引言

Hadoop作为一个强大的分布式系统基础架构,广泛应用于大数据处理。掌握其常用命令对于开发和运维人员来说至关重要。本文将详细介绍在Linux环境下Hadoop的常用命令,帮助用户高效管理Hadoop集群。

二、文件系统操作命令

1、目录与文件操作

2.1、创建和删除目录
  • 创建目录:hdfs dfs -mkdir /path/to/directory
  • 删除目录:hdfs dfs -rm -r /path/to/directory
2.2、查看目录内容
  • 列出目录内容:hdfs dfs -ls /path/to/directory
  • 递归列出目录内容:hdfs dfs -ls -R /path/to/directory
2.3、文件上传与下载
  • 上传文件:hdfs dfs -put localfile /path/to/hdfs
  • 下载文件:hdfs dfs -get /path/to/hdfs localfile
2.4、查看文件内容
  • 查看文本文件内容:hdfs dfs -cat /path/to/file
  • 查看文件最后1000字节:hdfs dfs -tail /path/to/file

2、文件属性管理

2.1、修改文件权限
  • 修改文件权限:hdfs dfs -chmod 755 /path/to/file
2.2、修改文件所有者
  • 修改文件所有者:hdfs dfs -chown user:group /path/to/file

三、系统管理命令

1、查看集群状态

  • 查看Hadoop版本:hdfs version
  • 查看NameNode状态:jps(查看Java进程,确认NameNode是否运行)

2、启动与停止服务

3.1、启动Hadoop集群
  • 启动所有服务:start-all.sh
  • 启动NameNode和DataNode:start-dfs.sh
  • 启动ResourceManager和NodeManager:start-yarn.sh
3.2、停止Hadoop集群
  • 停止所有服务:stop-all.sh
  • 停止NameNode和DataNode:stop-dfs.sh
  • 停止ResourceManager和NodeManager:stop-yarn.sh

3、格式化和升级

3.1、格式化文件系统
  • 格式化NameNode:hdfs namenode -format
3.2、升级集群
  • 升级前的准备:hdfs namenode -upgrade
  • 回滚升级:hdfs namenode -rollback
  • 完成升级:hdfs namenode -finalize

四、MapReduce作业管理

1、提交和运行作业

  • 提交作业:hadoop jar job.jar
  • 查看作业状态:hadoop job -status job_id

2、杀死作业

  • 杀死作业:hadoop job -kill job_id

五、HDFS文件一致性检查

  • 检查文件系统一致性:hdfs fsck /path/to/directory

六、总结

掌握Hadoop的常用命令是进行大数据处理的基础。通过本文的介绍,用户应能够熟悉并运用这些命令进行日常的Hadoop集群管理与维护。


版权声明:本博客内容为原创,转载请保留原文链接及作者信息。

参考文章

相关推荐
咖喱鱼蛋19 分钟前
Ubuntu安装Electron环境
linux·ubuntu·electron
ac.char23 分钟前
在 Ubuntu 系统上安装 npm 环境以及 nvm(Node Version Manager)
linux·ubuntu·npm
Lorin 洛林26 分钟前
Hadoop 系列 MapReduce:Map、Shuffle、Reduce
大数据·hadoop·mapreduce
肖永威29 分钟前
CentOS环境上离线安装python3及相关包
linux·运维·机器学习·centos
tian2kong32 分钟前
Centos 7 修改YUM镜像源地址为阿里云镜像地址
linux·阿里云·centos
布鲁格若门36 分钟前
CentOS 7 桌面版安装 cuda 12.4
linux·运维·centos·cuda
Eternal-Student40 分钟前
【docker 保存】将Docker镜像保存为一个离线的tar归档文件
运维·docker·容器
C-cat.43 分钟前
Linux|进程程序替换
linux·服务器·microsoft
dessler43 分钟前
云计算&虚拟化-kvm-扩缩容cpu
linux·运维·云计算
怀澈1221 小时前
高性能服务器模型之Reactor(单线程版本)
linux·服务器·网络·c++