Hadoop初体验

一、HDFS初体验

1. shell命令操作

hadoop fs -mkdir /itcast

hadoop fs -put zookeeper.out /itcast

hadoop fs -ls /

2. Web UI页面操作

• 

结论：

1. HDFS本质就是一个文件系统
2. 有目录树结构 和Linux类似，分文件、文件夹
3. 为什么上传一个小文件也这么慢？

二、MapReduce +YARN初体验

执行Hadoop官方自带的MapReduce案例

评估圆周率π的值

cd /export/server/hadoop-3.1.4/share/hadoop/mapreduce/

hadoop jar hadoop-mapreduce-examples-3.1.4.jar pi 2 4

思考：

1. MapReduce本质是程序？
2. 执行MapReduce的时候，为什么首先请求YARN?
3. MapReduce看上去好像是两个阶段？
4. 先Map,再Reduce？
5. 处理小数据的时候，MapReduce速度快吗？