hadoop第3课(hdfs shell常用命令)

一、Hadoop FS 基础操作命令

1. 查看帮助
bash 复制代码
hadoop fs -help [命令名]  # 查看具体命令的帮助文档
# 示例:
hadoop fs -help mkdir
2. 目录操作
bash 复制代码
hadoop fs -mkdir /path          # 创建目录
hadoop fs -mkdir -p /path/a/b   # 递归创建多级目录
hadoop fs -rmdir /path          # 删除空目录
3. 文件操作
bash 复制代码
hadoop fs -put local_file /hdfs_path   # 上传本地文件到HDFS
hadoop fs -get /hdfs_file local_path   # 下载HDFS文件到本地
hadoop fs -cat /hdfs_file              # 查看文件内容
hadoop fs -tail /hdfs_file             # 查看文件尾部内容
hadoop fs -text /hdfs_file             # 查看文件内容(自动解压)
hadoop fs -cp /src /dest               # 复制文件/目录
hadoop fs -mv /src /dest               # 移动文件/目录
hadoop fs -rm /file                    # 删除文件
hadoop fs -rm -r /directory            # 递归删除目录
4. 查看目录/文件信息
bash 复制代码
hadoop fs -ls /path          # 列出目录内容
hadoop fs -ls -h /path       # 友好格式显示文件大小(KB/MB/GB)
hadoop fs -ls -R /path       # 递归列出子目录
hadoop fs -du -h /path       # 查看目录/文件占用空间
hadoop fs -stat /file        # 查看文件详细信息

二、权限管理

bash 复制代码
hadoop fs -chmod 755 /path        # 修改权限(八进制模式)
hadoop fs -chmod -R a+rwx /path   # 递归修改权限(符号模式)
hadoop fs -chown user:group /path # 修改文件所属用户和组
hadoop fs -chgrp group /path      # 修改文件所属组

三、集群管理与状态查询

bash 复制代码
hadoop fs -df -h          # 查看HDFS存储空间使用情况
hadoop fs -du -h /path    # 统计目录占用空间
hadoop fs -count /path    # 查看目录下的文件/目录数量
hadoop fsadmin -safemode enter  # 进入安全模式(管理员)
hadoop fsadmin -safemode leave  # 退出安全模式(管理员)

四、高级功能

1. 回收站操作(需开启回收站功能)
bash 复制代码
hadoop fs -rm -skipTrash /file   # 直接删除(不进入回收站)
# 默认删除操作会移动到回收站(路径:/user/${username}/.Trash)
2. 文件归档(HAR)
bash 复制代码
hadoop fs -archive -archiveName myhar.har -p /src /dest  # 创建归档文件
hadoop fs -ls har:///myhar.har   # 查看归档内容
3. 设置副本数
bash 复制代码
hadoop fs -setrep -w 2 /file   # 修改副本数为2(-w表示等待完成)

五、注意事项

  1. hadoop fs 是通用命令,兼容HDFS和其他Hadoop支持的文件系统。
  2. 删除目录时需谨慎使用 -rm -r,建议先确认路径。
  3. 安全模式操作需管理员权限。

结语

掌握这些 hadoop fs 命令是Hadoop开发与运维的基础,建议结合实践场景多操作演练。后续可深入学习HDFS架构与API开发技巧!

相关推荐
计算机编程小咖39 分钟前
《基于大数据的农产品交易数据分析与可视化系统》选题不当,毕业答辩可能直接挂科
java·大数据·hadoop·python·数据挖掘·数据分析·spark
roamingcode1 小时前
Claude Code NPM 包发布命令
前端·npm·node.js·claude·自定义指令·claude code
gc_22991 小时前
运行npm run命令报错“error:0308010C:digital envelope routines::unsupported”
npm·node.js
zz-zjx5 小时前
Nodejs 与npm
前端·npm·node.js
ChinaLzw6 小时前
配置npm国内源(包含主流npm镜像源地址)
npm·node.js
辉长六加110 小时前
nodejs和vue安装步骤记录
前端·javascript·vue.js·npm·node.js
小四的快乐生活1 天前
Hive 存储管理测试用例设计指南
hive·hadoop·测试用例
三劫散仙1 天前
mac m1上使用Kerberos访问远程linux hadoop集群的正确姿势
linux·hadoop·macos
源图客1 天前
Apache Ozone 2.0.0集群部署
hadoop·ozone
计算机毕设残哥1 天前
大数据毕业设计推荐:基于Hadoop+Spark的手机信息分析系统完整方案
大数据·hadoop·课程设计