Hadoop学习总结(Shell操作)

命令参数 功能描述
-ls 查看指定路径的目录结构
-du 统计目录下所有文件大小
-mv 移动文件
-cp 复制文件
-rm 删除文件 / 空白文件夹
-put 上传文件
-cat 查看内容文件
-text 将源文件输出文本格式
-mkdir 创建空白文件夹
-help 帮助
[HDFS Shell 参数]

一、ls 命令

ls 命令用于查看指定路径的当前目录结构,语法格式如下

复制代码
hadoop fs -ls [-d] [-h] [-R]<args>  //<args>表示命令的可选参数
  • -d:将目录显示为普通文件。
  • -h:使用便于操作人员读取的单位信息格式。
  • -R:递归显示所有子目录的信息。

示例:查看根路径下的所有文件

复制代码
hadoop fs -ls /

二、mkdir 命令

mkdir 命令用于指定路径下创建子目录,其中创建的路径可以采用 URL 格式进行指定,语法格式如下

复制代码
hadoop fs -mkdir [-p] <paths>

其中 -p 参数表示创建子目录来先检查路径是否存在,如果不存在,则创建相应的各级目录。

示例:在根目录下创建 /test 目录 和 /exp/demo 目录

复制代码
hadoop fs -mkdir /test
hadoop fs -mkdir -p /exp/demo

刷新 HDFS 集群状态,就能看到创建的目录

三、put 命令

put 命令用于将本地系统文件或文件夹复制到 HDFS 上,语法格式如下

复制代码
hadoop fs -put [-f] [-p] <locationsrc> <det>
  • -f:覆盖目标文件。
  • -p:保留访问和修改时间、权限。

示例:上传一个 data.txt 到 /exp/demo 目录

复制代码
touch data.txt  或者   vi data.txt
hadoop fs -put data.txt /exp/demo

四、mv 命令

示例:把 /exp/demo/data.txt 移动到 /test 目录下

复制代码
hadoop fs -mv /exp/demo/data.txt /test

刷新 HDFS 集群状态

五、cp 命令

示例:把 /test/data.txt 复制到根路径下

复制代码
hadoop fs -cp /test/data.txt /

刷新 HDFS 集群状态

六、rm 命令

1、示例:把 /test/data.txt 文件删除

复制代码
hadoop fs -rm /test/data.txt

刷新 HDFS 集群状态

2、示例:把 /exp/demo/ 目录删掉

复制代码
hadoop fs -rm -r /exp/demo/

刷新 HDFS 集群状态

七、cat 命令

示例:查看 /data.txt 文件的内容

复制代码
hadoop fs -cat /data.txt

八、get 命令

示例:把 /data.txt 文件下载到 /export/data目录下

复制代码
 hadoop fs -get /data.txt /export/data
相关推荐
DDC楼宇自控与IBMS集成系统解读4 分钟前
IBMS智能化集成系统:构建建筑全场景协同管控中枢
大数据·网络·人工智能·能耗监测系统·ibms智能化集成系统·楼宇自控系统·智能照明系统
奋斗的蛋黄7 分钟前
HDFS(Hadoop 分布式文件系统)知识点梳理
大数据·hadoop·hdfs
LFly_ice10 分钟前
学习React-10-useTransition
前端·学习·react.js
知识分享小能手16 分钟前
React学习教程,从入门到精通,React 构造函数(Constructor)完整语法知识点与案例详解(16)
前端·javascript·学习·react.js·架构·前端框架·vue
计算机编程-吉哥1 小时前
大数据毕业设计-基于大数据的高考志愿填报推荐系统(高分计算机毕业设计选题·定制开发·真正大数据)
大数据·毕业设计·计算机毕业设计选题·机器学习毕业设计·大数据毕业设计·大数据毕业设计选题推荐·大数据毕设项目
淮北也生橘121 小时前
Linux的V4L2视频框架学习笔记
linux·笔记·学习·音视频·嵌入式linux
武子康1 小时前
大数据-95 Spark 集群 SparkSQL Action与Transformation操作 详细解释与测试案例
大数据·后端·spark
mysla1 小时前
嵌入式学习day46-硬件—汇编
汇编·学习
qq_386322692 小时前
华为网路设备学习-33(BGP协议 八)BGP路由 选路规则
学习·华为
极造数字2 小时前
MES系统在不同制造行业中的应用差异与共性
大数据·人工智能·物联网·信息可视化·制造