配置Hadoop集群-上传文件

上传小文件

上传文件的时候,我们传一个大一点的(>128M),再传一个小一点的。对于大一点的文件,我们要去看看它是否会按128M为单位去拆分这个大文件,而拆分成大文件之后,我们又怎么才能去还原?

下面我们来看具体操作:
打开hadoop100:9870,点击上传,选择我们需要上传的文件(建议选择一个简单的文本文件),上传之后的结果如下:
命令格式如下:

hadoop fs -put 要上传的文件 目标位置

下面我们上传一个小文件,你可以自己去找一个文本文件,或者自己创建一个都可以。cd

上传小文件(小于128M)

root@hadoop100 \~$ hadoop fs -mkdir /input

root@hadoop100 \~ hadoop fs -put HADOOP_HOME/wcinput/word.txt /input

上传大文件(大于128M)

root@hadoop100 \~$ hadoop fs -put /opt/software/jdk-8u212-linux-x64.tar.gz /
上传文件后查看文件存放在什么位置

在我们上一节的hadoop配置中,我们设置了保持文件的目录是/data,所以,我们进入hadoop的按照目录下的data中去看一看。

这个存储的目录特别深,大概类似于:/opt/module/hadoop-3.1.3/data/dfs/data/current/BP-1436128598-192.168.10.102-1610603650062/current/finalized/subdir0/subdir0

文件的名称是blk_xxx。我们可以使用cat命令查看HDFS在磁盘存储文件内容:

root@hadoop102 subdir0$ cat blk_1073741825

hadoop yarn

hadoop mapreduce

root

root
上传大文件

前面我们上传了一个小文件,可以看到这个文件太小,hadoop被没有被切分成小块。接下来我们传一个大一点的文件,例如jdk的安装包。(注意,你可以上传一些别的文件,但是务必确保大小是大于128M)
我们把它保存在集群的根目录。

上传完成之后,我们去查看,很明显大文件被分块了,128M一块,一共有两个块。可以通过cat >> 命令把两个块的内容拼接到一起,然后再去解压缩一下。

类似于如下:

-rw-rw-r--. 1 root root 134217728 5月 23 16:01 blk_1073741836

-rw-rw-r--. 1 root root 1048583 5月 23 16:01 blk_1073741836_1012.meta

-rw-rw-r--. 1 root root 63439959 5月 23 16:01 blk_1073741837

-rw-rw-r--. 1 root root 495635 5月 23 16:01 blk_1073741837_1013.meta

root@hadoop102 subdir0$ cat blk_1073741836>>tmp.tar.gz

root@hadoop102 subdir0$ cat blk_1073741837>>tmp.tar.gz

root@hadoop102 subdir0$ tar -zxvf tmp.tar.gz

相关推荐
AI推荐率6 小时前
想让AI在选购问题中推荐品牌,应该找什么类型的服务商?
大数据·人工智能·microsoft
浅思科技集6 小时前
工业生产运营软件如何选择?看端到端可见性、数据贯通与AI落地
大数据·人工智能
浅念-7 小时前
一文吃透Git:本地操作|冲突处理|远程协作|GitFlow工作流详解
大数据·git·elasticsearch·搜索引擎·gitflow
葫三生7 小时前
《论三生原理》神话学构想与“神话历史”理论、《古史中的神话》思路异同?
大数据·人工智能·科技·深度学习·算法
国科安芯7 小时前
星链供电架构中的高集成度电源管理方案研究——基于ASP4644四通道降压稳压器在低轨卫星星座中的应用分析
大数据·单片机·嵌入式硬件·架构·低轨卫星·星间链路
2601_962300817 小时前
机器学习贴士:使用Python编写MapReduce
hadoop·python·机器学习·mapreduce·数据处理
爱吃火鸡面呀7 小时前
HDFS 架构深度解析:从核心组件到数据读写全流程
hadoop·hdfs·架构
小王毕业啦7 小时前
2011-2024年 各地级市养老服务信息面板数据 xlsx
大数据·人工智能·数据挖掘·数据分析·社科数据·实证分析·经管数据
ailsa_hui8 小时前
对于医疗器械行业,鼎捷的ERP有成熟的行业解决方案和合规性支持吗?
大数据
资讯综合9 小时前
500亿招聘市场悖论:AI技术能否填平行业的信任深坑
大数据·人工智能