文章目录
-
- [2. Hadoop](#2. Hadoop)
-
- [2.1 Hadoop简介](#2.1 Hadoop简介)
- [2.2 Hadoop版本演变](#2.2 Hadoop版本演变)
- [2.3 Hadoop项目结构](#2.3 Hadoop项目结构)
- [2.4 Hadoop集群的部署和使用](#2.4 Hadoop集群的部署和使用)
2. Hadoop
2.1 Hadoop简介
-
Hadoop可以支持多种编程语言:c,c++,java,python
-
Hadoop用java语言开发，具有跨平台特性
-
Hadoop两大核心：HDFS+MapReduce 分别解决了海量数据的分布式存储和分布式处理问题
-
2003年，谷歌发布了分布式文件系统GIS,2004年Hadoop将其纳入自己平台下开源实现
-
2004年，谷歌发布了分布式的并行编程框架MapReduce
-
Hadoop特性：
- Hadoop具有很高的可靠性：多台机器构成集群，部分机器发生故障，剩余机器可以继续对外提供服务
- Hadoop具有很高的效率：可以将成百上千的机器一起计算
- Hadoop具有很好的扩展性：可以不断的在集群中增加机器
- Hadoop的成本非常低：高性能计算（High Performance Computing 缩写HPC）
- 其可以采用普通PC机构成一个集群
-
Hadoop应用现状：
-
FaceBook公司采用Hadoop集群用于日志处理、推荐系统和数据仓库等方面
-
2.2 Hadoop版本演变
-
Hadoop1.0的两大核心：HDFS和MapReduce
-
Hadoop2.0对mapreduce的资源调度做出划分
- 将1.0版本中关于资源调度的模块单独抽出来，变成一个模块Yarn
-
Hadoop的发行版：Hortonworks（企业版）、cloudera CDH:Cloudera Distribution Hadoop、MapR
- 易用性
- 性能
2.3 Hadoop项目结构
- YARN：负责资源调度：内存/CPU/带宽等
- Spark:类似MapReduce的通用并行框架，区别是Spark是基于内存计算的、MapReduce是基于磁盘计算的
- Hive：是hadoop上的数据仓库
- Hive:把sql语句转换为MapReduce作业
- Pig:一个基于Hadoop的大规模数据分析平台，提供类似SQL的查询语言Pig Latin
- Oozie:需要不同应用程序配合完成工作，需要工作流管理系统来完成
- Zookeeper:分布式锁，一致性管理，提供分布式协调一致性服务
- HBase:是Hadoop上的非关系行的分布式数据库，支持实时应用
- Flume：日志采集
- Sqoop：是Hadoop和传统数据库之间的数据传递
- Amber:Hadoop快速部署工具，支持Hadoop集群的供应、管理和监控
2.4 Hadoop集群的部署和使用
-
集群硬件配置：NameNode和DataNode
-
MapReduce有两大核心组建：JobTracker和TaskTracker
- JobTracker负责MapReduce的作业管理：将MapReduce的大作业拆分成小作业分发到各个机器上去执行
- 而不同的机器上的协调问题就是TaskTracker：每个TaskTracker负责跟踪执行自己负责的那部分作业
-
冷备份：SecondNameNode
-
NameNode出现故障之后SecondNameNode无法马上顶上去，需要一个恢复的过程
-
-
TaskTracker和DataNode可能在同一个机器上面，即这个机器既是TaskTracker又是DataNode
-
TaskTracker和DataNode的集群硬件配置
-
NameNode总管家
- 管理各种元数据并提供服务
- NameNode里面有很多元数据都是直接保存在内存当中的
- 小集群可以将secondNameNode和NameNode放在一起，若是集群较大SecondNameNode需要单独设置一台服务器
-
集群规模
-
Hadoop集群的部署和使用
- Hadoop自带的一些基准测试程序，被打包在测试程序JAR文件中
- 用TestDFSIO基准测试，来测试HDFS的IO性能
- 用排序测试MapReduce:Hadoop自带的一个部分排序的程序，这个测试过程的整个数据集都会通过洗牌（Shuffle）传输至Reducer，可以充分测试MapReduce的性能