hadoop第3课（hdfs shell常用命令）

火龙谷2025-03-10 11:16

一、Hadoop FS 基础操作命令

1. 查看帮助

bash 复制代码

hadoop fs -help [命令名]  # 查看具体命令的帮助文档
# 示例：
hadoop fs -help mkdir

2. 目录操作

bash 复制代码

hadoop fs -mkdir /path          # 创建目录
hadoop fs -mkdir -p /path/a/b   # 递归创建多级目录
hadoop fs -rmdir /path          # 删除空目录

3. 文件操作

bash 复制代码

hadoop fs -put local_file /hdfs_path   # 上传本地文件到HDFS
hadoop fs -get /hdfs_file local_path   # 下载HDFS文件到本地
hadoop fs -cat /hdfs_file              # 查看文件内容
hadoop fs -tail /hdfs_file             # 查看文件尾部内容
hadoop fs -text /hdfs_file             # 查看文件内容（自动解压）
hadoop fs -cp /src /dest               # 复制文件/目录
hadoop fs -mv /src /dest               # 移动文件/目录
hadoop fs -rm /file                    # 删除文件
hadoop fs -rm -r /directory            # 递归删除目录

4. 查看目录/文件信息

bash 复制代码

hadoop fs -ls /path          # 列出目录内容
hadoop fs -ls -h /path       # 友好格式显示文件大小（KB/MB/GB）
hadoop fs -ls -R /path       # 递归列出子目录
hadoop fs -du -h /path       # 查看目录/文件占用空间
hadoop fs -stat /file        # 查看文件详细信息

二、权限管理

bash 复制代码

hadoop fs -chmod 755 /path        # 修改权限（八进制模式）
hadoop fs -chmod -R a+rwx /path   # 递归修改权限（符号模式）
hadoop fs -chown user:group /path # 修改文件所属用户和组
hadoop fs -chgrp group /path      # 修改文件所属组

三、集群管理与状态查询

bash 复制代码

hadoop fs -df -h          # 查看HDFS存储空间使用情况
hadoop fs -du -h /path    # 统计目录占用空间
hadoop fs -count /path    # 查看目录下的文件/目录数量
hadoop fsadmin -safemode enter  # 进入安全模式（管理员）
hadoop fsadmin -safemode leave  # 退出安全模式（管理员）

四、高级功能

1. 回收站操作（需开启回收站功能）

bash 复制代码

hadoop fs -rm -skipTrash /file   # 直接删除（不进入回收站）
# 默认删除操作会移动到回收站（路径：/user/${username}/.Trash）

2. 文件归档（HAR）

bash 复制代码

hadoop fs -archive -archiveName myhar.har -p /src /dest  # 创建归档文件
hadoop fs -ls har:///myhar.har   # 查看归档内容

3. 设置副本数

bash 复制代码

hadoop fs -setrep -w 2 /file   # 修改副本数为2（-w表示等待完成）

五、注意事项

hadoop fs 是通用命令，兼容HDFS和其他Hadoop支持的文件系统。
删除目录时需谨慎使用 -rm -r，建议先确认路径。
安全模式操作需管理员权限。

结语

掌握这些 hadoop fs 命令是Hadoop开发与运维的基础，建议结合实践场景多操作演练。后续可深入学习HDFS架构与API开发技巧！