Hadoop HDFS命令操作实例

一.创建与查看HDFS目录

每次重启后,Jps和java -version执行出来的结果不符合就使用

`source ~/.bash_profile` 是在 Unix/Linux 系统上用来重新加载用户的 Bash 配置文件 `~/.bash_profile` 的命令。这条命令的作用是使得当前的 Bash 环境重新读取并应用 `~/.bash_profile` 中的设置和变量定义。

首先检查master0、slave0虚拟机网络和java版本("1.7.0_71"),检查后再启动hadoop

[csu@master0 ~]$ cd ~/hadoop-2.6.0

[csu@master0 hadoop-2.6.0]$ sbin/start-all.sh (启动)

[csu@master0 hadoop-2.6.0]$ sbin/stop-all.sh (关闭)

再检查是否启动成功

1、创建HDFS目录:

-p可以递归创建

2、查看之前创建的HDFS目录

注意:因为登录的用户为csu,所以会显示/user/csu下的目录。

3、查看HDFS完整目录

因为hadoop fs -ls只能查看一级目录,所以必须逐级查看:

4、查看所有的HDFS子目录

HDFS提供了一个方便的选项 -R 可以递归查看目录

5、一次性创建所有HDFS子目录

逐级创建很麻烦,但是可以添加参数-p,来一次性创建多级目录:

二.从本地计算机复制文件到HDFS

1、复制本地文件到HDFS:

准备工作,创建本地文件

随便写的内容进去lc.txt

按Esc 再:wq保存退出

2、列出文件内容:

可以使用:hadoop fs -cat /user/hduser/test/test1.txt | more 进行分页显示

3、如果复制到HDFS的文件已经存在,会报错,此时可以使用-f 参数,强制复制重复文件到HDFS目录:

4、从本地复制多个文件到HDFS,中间用空格分割即可。

5、从本地复制整个目录到HDFS:

6、列出HDFS目录下的所有文件(包括这个目录下子目录的文件)

7、使用put复制文件到HDFS,这个参数与copyFromLocal的不同之处在于:

-put更宽松,可以把本地或者HDFS上的文件拷贝到HDFS中;而-copyFromLocal则更严格限制只能拷贝本地文件到HDFS中。如果本地和HDFS上都存在相同路径,则-put跟趋于优先取HDFS的源。(不用太深究两者区别,更多用-put)

三.从HDFS上复制文件到本地

1、参数 -copyToLocal

2、同样的也可以用参数-get完成上述操作:

四.复制与删除HDFS文件

1、使用-cp参数,在HDFS上进行复制文件

2、使用-rm参数,删除HDFS上的文件;添加-R参数,删除目录:

完成实验后一定要关闭 hadoop ,避免下次启动虚拟机时 hadoop 出现问题。

------------学习笔记

相关推荐
南宫文凯1 小时前
Hadoop-HA(高可用)机制
大数据·hadoop·分布式·hadoop-ha
HugeYLH1 小时前
解决npm问题:错误的代理设置
前端·npm·node.js
先睡5 小时前
Spring MVC配置文件
数据仓库·hive·hadoop
桃林春风一杯酒1 天前
HADOOP_HOME and hadoop.home.dir are unset.
大数据·hadoop·分布式
爱吃南瓜的北瓜1 天前
npm install 卡在“sill idealTree buildDeps“
前端·npm·node.js
TTc_1 天前
记录首次安装远古时代所需的运行环境成功npm install --save-dev node-sass
前端·npm·sass
翻滚吧键盘1 天前
npm使用了代理,但是代理软件已经关闭导致创建失败
前端·npm·node.js
B站计算机毕业设计超人1 天前
计算机毕业设计Hadoop+Spark+DeepSeek-R1大模型民宿推荐系统 hive民宿可视化 民宿爬虫 大数据毕业设计(源码+LW文档+PPT+讲解)
大数据·hadoop·爬虫·机器学习·课程设计·数据可视化·推荐算法
知初~1 天前
出行项目案例
hive·hadoop·redis·sql·mysql·spark·database
m0_748235952 天前
Python大数据可视化:基于Python的王者荣耀战队的数据分析系统设计与实现_flask+hadoop+spider
hadoop·python·flask