hadoop入门

1.1 hadoop是什么

Hadoop是一个由Apache基金会所开发的分布式系统基础架构,主要是解决海量数据的存储和海量数据的分析计算的问题。通常Hadoop指的是一个更为广泛的概念Hadoop生态圈

1.2 hadoop发展历程

Hadoop创始人Doug Cutting,为了实现与Google类似的全文搜索功能,化升级,查询引擎和索引引擎,他在Lucene框架基础上进行优。

2001年年底Lucene成为Apache基金会的一个子项目。对于海量数据的场景,Lucene框架面对与Google同样的困难,存储海量数据困难,检索海量速度慢

学习和模仿Google解决这些问题的办法:微型版Nutch。可以说Google是Hadoop的思想之源(Google在大数据方面的三篇论文)

GFS--->HDFS

Map-Reduce--->MR

BigTable--->HBase

2003-2004,Google公开了部分GFS和MapReduce思想的细节,以此为基础

oug Cutting等人用2003-2004年,Google公开了部分了2年业余时间实现了DFS和MapReduce机制,使Nutch性能飙升。

2005 年Hadoop 作为 Lucene的子项目 Nutch的一部分正式引入Apache基金会。

2006年3月份Map-Reduce和Nutch DistributeFile System(NDFS)分别被纳入到 Hadoop 项目,Hadoop就此正式诞生,标志着大数据时代的来临

名字来源于Doug Cutting儿子的玩具

1.3 hadoop的三大版本

Apache版本最原始(最基础)的版本,对于入门学习最好。2006

Cloudera内部集成了很多大数据框架,对应产品CDH。2008

Hortonworks文档较好,对应产品HDP。2011

Hortonworks现在已经被Cloudera公司收购,推出新的品牌CDP。

1)Apache Hadoop

官网地址:Apache Hadoop

下载地址:Apache Hadoop

2)Cloudera Hadoop

官网地址:https://www.cloudera.com/downloads/cdh

下载地址:CDH 6 Download Information | 6.x | Cloudera Documentation

(1)2008年成立的Cloudera是最早将Hadoop商用的公司,为合作伙伴提供Hadoop的商用解决方案,主要是包括支持、咨询服务、培训。

(2)2009年Hadoop的创始人Doug Cutting也加盟Cloudera公司。Cloudera产品主要为CDH,Cloudera Manager,Cloudera Support

(3)CDH是Cloudera的Hadoop发行版,完全开源,比Apache Hadoop在兼容性,安全性,稳定性上有所增强。Cloudera的标价为每年每个节点10000美元。

(4)Cloudera Manager是集群的软件分发及管理监控平台,可以在几个小时内部署好一个Hadoop集群,并对集群的节点及服务进行实时监控。

3)Hortonworks Hadoop

官网地址:Hybrid Cloud Computing Platform and Products | Cloudera

下载地址:https://hortonworks.com/downloads/#data-platform

(1)2011年成立的Hortonworks是雅虎与硅谷风投公司Benchmark Capital合资组建。

(2)公司成立之初就吸纳了大约25名至30名专门研究Hadoop的雅虎工程师,上述工程师均在2005年开始协助雅虎开发Hadoop,贡献了Hadoop80%的代码。

(3)Hortonworks的主打产品是Hortonworks Data Platform(HDP),也同样是100%开源的产品,HDP除常见的项目外还包括了Ambari,一款开源的安装和管理系统。

(4)2018年Hortonworks目前已经被Cloudera公司收购。

1.4 hadoop1.x、2.x、3.x的区别

Hadoop1.x中的MapReduce:

计算:指的数据的运算

资源的调度:指的是在哪台服务器上进行运算,运算这个任务给多少内存

Hadoop2.x中的MapReduce:只负责计算,Yarn负责资源调度

1.5 HDFS架构

Hadoop Distributed File System,是一个分布式文件系统

NameNode记录每一个文件块存储的位置

DataNode具体存储数据

2NN是辅助NameNode工作的

(1)NameNode:储存文件的元数据,如文件名,文件目录结构,文件属性(生成时间、副本数、文件权限),以及每个文件的块列表和所在的DataNode等。

(2)DataNode:在本地文件系统存储文件块数据,以及块数据的校验和。

(3)Secondary NameNode:每隔一段时间对NameNode元数据备份

1.6 YARN架构概述

Yet Another Resource Negotiator简称YARN ,另一种资源协调者,是Hadoop的资源管理器。

1)ResourceManager(RM):整个集群资源(内存,cpu等)的老大

2)NodeManager(NM):单个结点服务器资源的老大

3)ApplicationMaster(AM):单个任务云心运行的老大

4)Container:容器,相当于一台独立的服务器,里面封装了任务运行所需要的资源,如内存、CPU、磁盘、网络等。

说明1:客户端可以有多个

说明2:集群上可以运行多个Application

说明3:每个NodeManager上可以有多个Container

虚拟化、跨节点、分布式

1.7 MapReduce

MapReduce将计算分为两个阶段:Map和Reduce

1)Map阶段并行处理输入数据

2)Reduce阶段对Map结果进行汇总

1.8 大数据技术生态体系

文件日志(半结构化数据)--->结构化数据

数据

大数据推荐系统架构推荐

相关推荐
Lx35214 分钟前
Hadoop小文件处理难题:合并与优化的最佳实践
大数据·hadoop
最初的↘那颗心15 小时前
Flink Stream API 源码走读 - print()
java·大数据·hadoop·flink·实时计算
君不见,青丝成雪16 小时前
hadoop技术栈(九)Hbase替代方案
大数据·hadoop·hbase
晴天彩虹雨16 小时前
存算分离与云原生:数据平台的新基石
大数据·hadoop·云原生·spark
最初的↘那颗心1 天前
Flink Stream API - 源码开发需求描述
java·大数据·hadoop·flink·实时计算
Lx3521 天前
MapReduce作业调试技巧:从本地测试到集群运行
大数据·hadoop
BYSJMG1 天前
计算机大数据毕业设计推荐:基于Spark的气候疾病传播可视化分析系统【Hadoop、python、spark】
大数据·hadoop·python·信息可视化·spark·django·课程设计
励志成为糕手1 天前
大数据MapReduce架构:分布式计算的经典范式
大数据·hadoop·mapreduce·分布式计算·批处理
计算机毕设-小月哥1 天前
大数据毕业设计选题推荐:基于Hadoop+Spark的城镇居民食品消费分析系统源码
大数据·hadoop·课程设计
小云数据库服务专线1 天前
GaussDB 数据库架构师修炼(十三)安全管理(5)-动态数据脱敏
安全·数据库架构·gaussdb