大数据开发 hadoop集群 2.hadoop框架入门

自从我学会了寻找，我就已经找到 ------史铁生

------ 24.3.10

内容简介

Hadoop入门：

①概念 ②环境准备 ③hadoop生产集群搭建 ④常见错误的解决方案

①概念：1.Hadoop是什么 2.Hadoop发展历史 3.Hadoop的三大发行版本 4.Hadoop的优势 5.Hadoop的组成 6.大数据技术生态体系 7.推荐系统案例

②环境准备（前戏）：1模板虚拟机准备 2.克隆 3.安装JDK、Hadoop

③Hadoop生产集群搭建：1.本地模式 2.完全分布式（开发和面试的重点）

一、hadoop是什么

1>Hadoop是一个由Apache基金会所开发的分布式系统基础架构

2>主要解决，海量数据的存储和海量数据的分析计算问题

3>广义上说，Hadoop通常是指一个更广泛的概念------Hadoop生态圈

二、Hadoop的发展历史

1>Hadoop创始人DougCutting，为了实现与Google类似的全文搜索功能，他在Lucene框架基础上进行优级，查询引擎和索引引擎。

2)2001年年底Lucene成为Apache基金会的一个子项目

3)对于海量数据的场景，Lucene框架面对与Google同样的困难，存储海量数据困难，检索海量速度慢

4)学习和模仿Google解决这些问题的办法:微型版Nutch。

5> 可以说Google是Hadoop的思想之源

GFS ---> HDFS

Map-Reduce ---> MR

BigTable ---> HBase

6)2003-2004年，Google公开了部分GFS和MapReduce思想的细节，以此为基础DougCutting等人用了2年业余时间实现了DFS和MapReduce机制，使Nutch性能飙升。

7)2005 年Hadoop 作为 Lucene的子项目 Nutch的一部分正式引入Apache基金会。

8)2006年3月份，Map-Reduce和Nutch Distributed File System(NDFS)分别被纳入到 Hadoop 项Hadoop就此正式诞生，标志着大数据时代来临。中，

9)名字来源于Doug Cutting儿子的玩具大象

三、Hadoop 三大发行版本(了解)

Hadoop三大发行版本:Apache、Cloudera、Hortonworks。

Apache 版本最原始(最基础)的版本，对于入门学习最好。2006eCloudera内部集成了很多大数据框架，对应产品CDH。2008

Hortonworks文档较好，对应产品HDP。

Hortonworks 现在已经被Cloudera 公司收购，推出新的品牌CDP

四、Hadoop优势（四高）

**1>高可靠性：**Hadoop底层维护多个数据副本，所以即使Hadoop某个计算元素或存储出现故障，也不会导致数据的丢失

**2>高拓展性：**在集群间分配任务数据，可方便的拓展数以千计的节点

**3>高效性：**在MapReduce的思想下，Hadoop是并行工作的，以加快任务处理速度

**4>高容错性：**能够自动将失败的任务重新分配

五、Hadoop的组成

5.1 1.x、2.x、3.x的组成区别

5.2 HDFS架构概述

Hadoop Distributed File System 简称 HDFS，是一个分布式文件系统

1)NameNode(nn)：存储文件的元数据， 如文件名，文件目录结构，文件属性 (生成时间、副本数文件权限)，以及每个文件的块列表 和块所在的DataNode 等。

2)DataNode(dn):在本地文件系统存储文件块数据 ，以及块数据的校验和 。

3)Secondary NameNode(2nn):每隔一段时间对NameNode元数据备份，