Hadoop HDFS命令操作实例

一.创建与查看HDFS目录

每次重启后,Jps和java -version执行出来的结果不符合就使用

`source ~/.bash_profile` 是在 Unix/Linux 系统上用来重新加载用户的 Bash 配置文件 `~/.bash_profile` 的命令。这条命令的作用是使得当前的 Bash 环境重新读取并应用 `~/.bash_profile` 中的设置和变量定义。

首先检查master0、slave0虚拟机网络和java版本("1.7.0_71"),检查后再启动hadoop

[csu@master0 ~]$ cd ~/hadoop-2.6.0

[csu@master0 hadoop-2.6.0]$ sbin/start-all.sh (启动)

[csu@master0 hadoop-2.6.0]$ sbin/stop-all.sh (关闭)

再检查是否启动成功

1、创建HDFS目录:

-p可以递归创建

2、查看之前创建的HDFS目录

注意:因为登录的用户为csu,所以会显示/user/csu下的目录。

3、查看HDFS完整目录

因为hadoop fs -ls只能查看一级目录,所以必须逐级查看:

4、查看所有的HDFS子目录

HDFS提供了一个方便的选项 -R 可以递归查看目录

5、一次性创建所有HDFS子目录

逐级创建很麻烦,但是可以添加参数-p,来一次性创建多级目录:

二.从本地计算机复制文件到HDFS

1、复制本地文件到HDFS:

准备工作,创建本地文件

随便写的内容进去lc.txt

按Esc 再:wq保存退出

2、列出文件内容:

可以使用:hadoop fs -cat /user/hduser/test/test1.txt | more 进行分页显示

3、如果复制到HDFS的文件已经存在,会报错,此时可以使用-f 参数,强制复制重复文件到HDFS目录:

4、从本地复制多个文件到HDFS,中间用空格分割即可。

5、从本地复制整个目录到HDFS:

6、列出HDFS目录下的所有文件(包括这个目录下子目录的文件)

7、使用put复制文件到HDFS,这个参数与copyFromLocal的不同之处在于:

-put更宽松,可以把本地或者HDFS上的文件拷贝到HDFS中;而-copyFromLocal则更严格限制只能拷贝本地文件到HDFS中。如果本地和HDFS上都存在相同路径,则-put跟趋于优先取HDFS的源。(不用太深究两者区别,更多用-put)

三.从HDFS上复制文件到本地

1、参数 -copyToLocal

2、同样的也可以用参数-get完成上述操作:

四.复制与删除HDFS文件

1、使用-cp参数,在HDFS上进行复制文件

2、使用-rm参数,删除HDFS上的文件;添加-R参数,删除目录:

完成实验后一定要关闭 hadoop ,避免下次启动虚拟机时 hadoop 出现问题。

------------学习笔记

相关推荐
武子康2 小时前
大数据-256 离线数仓 - Atlas 数据仓库元数据管理 正式安装 启动服务访问 Hive血缘关系导入
大数据·数据仓库·hive·hadoop
没头发的卓卓4 小时前
pnpm--他简直是超人!
前端·npm·前端工程化
NiNg_1_2345 小时前
Hadoop实现WordCount详解
大数据·hadoop·分布式
小刘鸭!15 小时前
Hive解决数据倾斜
数据仓库·hive·hadoop
隔壁老登17 小时前
sqoop抽数报错Every derived table must have its own alias
数据库·hadoop·sqoop
武子康20 小时前
大数据-255 离线数仓 - Atlas 数据仓库元数据管理 数据血缘关系 元数据
大数据·数据仓库·hive·hadoop·spring
changingshow21 小时前
vue create 创建项目 提示 Failed to check for updates 淘宝 NPM 镜像站喊你切换新域名啦
javascript·vue.js·npm
skoutain21 小时前
Hadoop、Hbase使用Snappy压缩
大数据·hadoop·hbase
【D'accumulation】1 天前
NPM国内镜像源多选择与镜像快速切换工具(nrm)介绍
前端·npm·node.js
野生派蒙1 天前
NVM:安装配置使用(详细教程)
前端·npm·node.js