hadoop第3课(hdfs shell常用命令)

一、Hadoop FS 基础操作命令

1. 查看帮助
bash 复制代码
hadoop fs -help [命令名]  # 查看具体命令的帮助文档
# 示例:
hadoop fs -help mkdir
2. 目录操作
bash 复制代码
hadoop fs -mkdir /path          # 创建目录
hadoop fs -mkdir -p /path/a/b   # 递归创建多级目录
hadoop fs -rmdir /path          # 删除空目录
3. 文件操作
bash 复制代码
hadoop fs -put local_file /hdfs_path   # 上传本地文件到HDFS
hadoop fs -get /hdfs_file local_path   # 下载HDFS文件到本地
hadoop fs -cat /hdfs_file              # 查看文件内容
hadoop fs -tail /hdfs_file             # 查看文件尾部内容
hadoop fs -text /hdfs_file             # 查看文件内容(自动解压)
hadoop fs -cp /src /dest               # 复制文件/目录
hadoop fs -mv /src /dest               # 移动文件/目录
hadoop fs -rm /file                    # 删除文件
hadoop fs -rm -r /directory            # 递归删除目录
4. 查看目录/文件信息
bash 复制代码
hadoop fs -ls /path          # 列出目录内容
hadoop fs -ls -h /path       # 友好格式显示文件大小(KB/MB/GB)
hadoop fs -ls -R /path       # 递归列出子目录
hadoop fs -du -h /path       # 查看目录/文件占用空间
hadoop fs -stat /file        # 查看文件详细信息

二、权限管理

bash 复制代码
hadoop fs -chmod 755 /path        # 修改权限(八进制模式)
hadoop fs -chmod -R a+rwx /path   # 递归修改权限(符号模式)
hadoop fs -chown user:group /path # 修改文件所属用户和组
hadoop fs -chgrp group /path      # 修改文件所属组

三、集群管理与状态查询

bash 复制代码
hadoop fs -df -h          # 查看HDFS存储空间使用情况
hadoop fs -du -h /path    # 统计目录占用空间
hadoop fs -count /path    # 查看目录下的文件/目录数量
hadoop fsadmin -safemode enter  # 进入安全模式(管理员)
hadoop fsadmin -safemode leave  # 退出安全模式(管理员)

四、高级功能

1. 回收站操作(需开启回收站功能)
bash 复制代码
hadoop fs -rm -skipTrash /file   # 直接删除(不进入回收站)
# 默认删除操作会移动到回收站(路径:/user/${username}/.Trash)
2. 文件归档(HAR)
bash 复制代码
hadoop fs -archive -archiveName myhar.har -p /src /dest  # 创建归档文件
hadoop fs -ls har:///myhar.har   # 查看归档内容
3. 设置副本数
bash 复制代码
hadoop fs -setrep -w 2 /file   # 修改副本数为2(-w表示等待完成)

五、注意事项

  1. hadoop fs 是通用命令,兼容HDFS和其他Hadoop支持的文件系统。
  2. 删除目录时需谨慎使用 -rm -r,建议先确认路径。
  3. 安全模式操作需管理员权限。

结语

掌握这些 hadoop fs 命令是Hadoop开发与运维的基础,建议结合实践场景多操作演练。后续可深入学习HDFS架构与API开发技巧!

相关推荐
IT研究室2 小时前
大数据毕业设计选题推荐-基于大数据的全球产品库存数据分析与可视化系统-大数据-Spark-Hadoop-Bigdata
大数据·hadoop·数据分析·spark·毕业设计·源码·bigdata
学渣y10 小时前
nvm下载node版本,npm -v查看版本报错
前端·npm·node.js
weixin_525936331 天前
2020年美国新冠肺炎疫情数据分析与可视化
hadoop·python·数据挖掘·数据分析·spark·数据可视化
你的电影很有趣1 天前
lesson71:Node.js与npm基础全攻略:2025年最新特性与实战指南
前端·npm·node.js
毕设源码-朱学姐1 天前
【开题答辩全过程】以 python基于Hadoop的服装穿搭系统的设计与实现为例,包含答辩的问题和答案
开发语言·hadoop·python
IT学长编程1 天前
计算机毕业设计 基于Hadoop的信贷风险评估的数据可视化分析与预测系统 大数据毕业设计 Hadoop毕业设计选题【附源码+文档报告+安装调试】
大数据·hadoop·毕业设计·课程设计·毕业论文·信贷风险评估的可视化分析与预测·hadoop大数据
计算机毕设残哥2 天前
基于Hadoop+Spark的商店购物趋势分析与可视化系统技术实现
大数据·hadoop·python·scrapy·spark·django·dash
IT研究室2 天前
大数据毕业设计选题推荐-基于大数据的全球能源消耗量数据分析与可视化系统-大数据-Spark-Hadoop-Bigdata
大数据·hadoop·spark·毕业设计·源码·数据可视化·bigdata
有梦想的攻城狮2 天前
从0开始学vue:npm命令详解
前端·vue.js·npm
星光不问赶路人2 天前
理解 package.json imports:一次配置,跨环境自由切换
前端·npm·node.js