一、简介
什么是HDFS
的Shell
操作?
很简单,就是在Linux
的终端,通过命令来操作HDFS
。
如果,你们学习过git、docker、k8s
,应该会发现,这些命令的特点和shell
命令非常相似
二、常用命令
1、准备工作相关命令
启动集群
bash
sbin/start-dfs.sh
sbin/start-yarn.sh
查看命令帮助
bash
hadoop fs -help rm
创建/sanguo
文件夹
bash
hadoop fs -mkdir /sanguo
2、上传
1、-moveFromLocal
:从本地剪切
粘贴到HDFS
bash
hadoop fs -moveFromLocal ./shuguo.txt /sanguo
2、-copyFromLocal
:从本地拷贝
文件到HDFS
指定路径中
bash
hadoop fs -copyFromLocal ./weiguo.txt /sanguo
3、-put
:等同于 copyFromLocal
,生产环境更习惯用 put
bash
hadoop fs -put ./wuguo.txt /sanguo
4、-appendToFile
:追加一个文件中的内容
到HDFS
中已经存在的文件末尾
bash
hadoop fs -appendToFile liubei.txt /sanguo/shuguo.txt
注意
此命令可能遇到的错误
解决办法
在hdfs-site.xml
文件中添加如下配置,重启Hadoop
集群即可
xml
<property>
<name>dfs.client.block.write.replace-datanode-on-failure.policy</name>
<value>NEVER</value>
</property>
3、下载
1、-copyToLocal
:从HDFS
拷贝到本地
bash
hadoop fs -copyToLocal /sanguo/shuguo.txt ./
2、-get
:等同于 copyToLocal
,生产环境更习惯用 get
bash
hadoop fs -get /sanguo/shuguo.txt ./shuguo2.txt
4、文件的常用操作
1、-ls
: 显示目录信息
bash
hadoop fs -ls /sanguo
2、-cat
:显示文件内容
bash
hadoop fs -cat /sanguo/shuguo.txt
3、-chgrp、 -chmod、 -chown
:同Linux
文件系统中的用法一样,修改文件所属权限
bash
hadoop fs -chmod 777 /sanguo/shuguo.txt
4、-mkdir
:创建路径
bash
hadoop fs -mkdir /jinguo
5、-cp
:从HDFS
的一个路径拷贝
到HDFS
的另一个路径
bash
hadoop fs -cp /sanguo/shuguo.txt /jinguo
6、-mv
:在HDFS
目录中移动(剪切)
文件
bash
hadoop fs -mv /sanguo/weiguo.txt /jinguo
7、-tail
:显示一个文件的末尾1kb
的数据
bash
hadoop fs -tail /jinguo/shuguo.txt
8、-rm
:删除文件或文件夹
bash
hadoop fs -rm /sanguo/shuguo.txt
9、-rm -r
递归删除目录及目录里面的文件
bash
hadoop fs -rm -r /sanguo
10、-du
统计文件夹的大小信息
bash
hadoop fs -du -s -h /jinguo
hadoop fs -du -h /jinguo
说明: 27
表示一个节点上文件大小;81
表示27*3
个副本的总大小;/jinguo
表示查看的目录
11、-setrep
:设置HDFS
中文件的副本数量
bash
hadoop fs -setrep 10 /jinguo/shuguo.txt
这里设置的副本数只是记录在NameNode
的元数据
中,是否真的会有这么多副本,还得看DataNode
的数量。因为目前只有 3台
设备,最多也就 3个
副本,只有节点数的增加到10台
时副本数才能达到10
个,当然,节点数超过10个
,副本数也只能是10
个。