一.hadoop与hadoop生态圈
Apache Hadoop:是一款分布式开源应用程序,主要解决海量数据的存储和分布式计算问题
Hadoop生态圈:是更广泛的概念,包含hadoop,sqoop,flume,zookeeper,hive,spark,hbase,oozie等构成的大数据处理相关一系统组件
hadoop版本介绍
hadoop1.x的组成:
Common(辅助工具):支持其他模块的工具(Configuration,RPC,序列化机制,日志操作等)
MapReduce(资源调度+计算):一个分布式的资源调度和离线并行计算框架
HDFS(数据存储):一个高可靠,高吞吐量的分布式文件系统
hadoop2.x的组成(新增了Yarn调度):
Common(辅助工具):支持其他模块的工具(Configuration,RPC,序列化机制,日志操作等)
MapReduce(计算):一个分布式的离线并行计算框架
HDFS(数据存储):一个高可靠,高吞吐量的分布式文件系统
Yarn(资源调度):作业调度与集群资源管理的框架
hadoop3.x的组成(整体架构无变化):略
二.hadoop架构
HDFS架构:
1.NameNode:存储文件的元数据,如文件名,文件目录结构,文件属性(生成时间,副本数,文件权限等),及每个文件的块列表和块所在的DataNode等
2.DataNode:在本地文件系统存储文件块数据,以及块数据的校验和
3.Secondary NameNode:用来监控HDFS状态的辅助后台程序,每隔一段时间获取HDFS元数据的快照
YARN架构:
1.ResourceManager:处理客户端请求,启动/监控ApplicationMaster,监控NodeManager,资源分配和调度
2.NodeManager:单个节点上的资源管理,处理来自ResourceManager的命令,处理来自ApplicationMaster的命令
3.ApplicationMaster:数据切分,为应用程序申请资源,分配给内部任务,任务监控和容错
4.Container:对任务运行环境的抽象,封装了CPU,内存等多维资源以及环境变量,启动命令等任务运行相关的信息
MapReduce架构:
MapReduce主要负责任务的计算,MapReduce将计算过程分为两个阶段,Map阶段和Reduce阶段
Map阶段:并行处理输入数据
Reduce阶段:对Map阶段的结果进行汇总
三.hdfs的读写流程
从hdfs读取数据的流程:
1.client向NameNode请求读取文件
2.NameNode向client返回元数据信息(各个块的位置)
3.client向DataNode请求第1个块的数据
4.DataNode向client响应第1个块的数据
5.client向DataNode请求第2个块的数据
...
向hdfs写入数据的流程:
1.client向NameNode请求写入文件
2.NameNode执行不同的检查:如权限,文件是否存在等,如果查询通过则为新文件创建条记录
3.client向DataNode请求写入第1个块的数据
4.DataNode进行块复制
...
四.hdfs的客户端命令:
Usage: hadoop fs generic options
-appendToFile ...
-cat \[-ignoreCrc\] ...
-checksum ...
-chgrp \[-R\] GROUP PATH...
-chmod \[-R\] \
-chown \[-R\] \[OWNER\]\[:\[GROUP\]\] PATH...
-copyFromLocal \[-f\] \[-p\] \[-l\] \[-d\] \[-t \] ...
-copyToLocal \[-f\] \[-p\] \[-ignoreCrc\] \[-crc\] ...
-count \[-q\] \[-h\] \[-v\] \[-t \[\]\] \[-u\] \[-x\] \[-e\] ...
-cp \[-f\] \[-p \| -p\[topax\]\] \[-d\] ...
-createSnapshot \[\]
-deleteSnapshot
-df \[-h\] \[ ...\]
-du \[-s\] \[-h\] \[-v\] \[-x\] ...
-expunge
-find ... ...
-get \[-f\] \[-p\] \[-ignoreCrc\] \[-crc\] ...
-getfacl \[-R\]
-getfattr \[-R\] {-n name \| -d} \[-e en\]
-getmerge \[-nl\] \[-skip-empty-file\]
-head
-help \[cmd ...\]
-ls \[-C\] \[-d\] \[-h\] \[-q\] \[-R\] \[-t\] \[-S\] \[-r\] \[-u\] \[-e\] \[ ...\]
-mkdir \[-p\] ...
-moveFromLocal ...
-moveToLocal
-mv ...
-put \[-f\] \[-p\] \[-l\] \[-d\] ...
-renameSnapshot
-rm \[-f\] \[-r\|-R\] \[-skipTrash\] \[-safely\] ...
-rmdir \[--ignore-fail-on-non-empty
...]
-setfacl \[-R\] \[{-b\|-k} {-m\|-x \
-setfattr {-n name \[-v value\] \| -x name}
-setrep \[-R\] \[-w\] ...
-stat \[format\] ...
-tail \[-f\]
-test -\[defsz\]
-text \[-ignoreCrc\] ...
-touchz ...
-trace
-truncate \[-w\] ...
-usage \[cmd ...\]
五.hdfs的api操作(使用java程序来访问HDFS):略
1.创建maven工程
2.导入相应的依赖
3.配置log4j
mapreduce的客户端操作(使用java程序来提交mapreduce作业):略