思维导图
数据导论
数据是什么?
进入21世纪，我们的生活就迈入了"数据时代" 作为21世纪的新青年，"数据"一词经常出现。
数据无时无刻的在影响着我们的现实生活
什么是数据？ 数据又如何影响现实生活？
数据：一种可以被鉴别的对客观事件进行记录的符号。 简单来说就是：对人类的行为及产生的事件的一种记录.
我们无时无刻都在产生数据：
数据的价值
大数据时代
当下时代已经是数据的时代，数据非常重要并且蕴含巨大的价值。
- 什么是数据？
人类的行为及产生的事件的一种记录称之为数据
- 数据有什么价值？
对数据的内容进行深入分析，可以更好的帮助了解事和物在现实世界的运行规律
比如，购物的订单记录（数据）可以帮助平台更好的了解消费者，从而促进交易。
大数据诞生
大数据的诞生
大数据的诞生和信息化以及互联网的发展是密切相关的。
大数据的诞生和信息化以及互联网的发展是密切相关的。
上世纪70年代后，逐步出现了基于TCP/IP协议的小规模的计算机互联互通。 但多数是军事、科研等用途。
上世纪90年代左后，全球互联的互联网出现。
个人、企业均可参与其中，真正逐步的实现了全球互联。
在2000年后，互联网上的商业行为剧增
现在知名的互联网公司（谷歌、AWS、腾讯、阿里等）也是在这个年代开始起步。
在互联网参与者众多的前提下，商业公司、科研单位等，所能获得的数据量也是剧增。
剧增的数据量，和羸弱的单机性能，让许多科技公司开始尝试以数量来解决问题。
在这个过程中，分布式处理技术诞生了。
- 大数据的诞生是跟随着互联网的发展的
当全球互联网逐步建成（2000年左右），各大企业或政府单位拥有了海量的数据亟待处理。
基于这个前提逐步诞生了以分布式的形式（即多台服务器集群）完成海量数据处理的处理方式，并逐步发展成现代大数据体系。
- Apache Hadoop对大数据体系的意义
第一款获得业界普遍认可的开源分布式解决方案
让各类企业都有可用的企业级开源分布式解决方案
一定程度上催生出了众多的大数据体系技术栈
从Hadoop开始（2008年左右）大数据开始蓬勃发展
大数据概念
大数据是指无法用传统的数据处理工具和方法，在合理的时间内进行捕获、管理和处理的大规模、复杂和多样化的数据集合。随着互联网、物联网、社交媒体等技术的发展，数据量呈指数级增长，大数据的概念应运而生。
大数据的普通认知：bigdata，无法用常规软件处理的数据集合，需要一种新的模式（分布式）去处理
大数据的核心思想：分而治之（分布式）
大数据解决的问题：
海量数据的存储
海量数据的计算
海量数据的迁移
海量数据的查询
大数据的应用场景：为生活赋能/大数据人工智能时代/数字化时代，如智慧城市、智能制造、金融风控、健康医疗、互联网广告等。
狭义上：对海量数据进行处理的软件技术体系
广义上：数字化、信息化时代的基础支撑，以数据为生活赋能
大数据特点
大数据有5个主要特征，称之为：5V特性
大数据的核心工作
从海量的高增长、多类别、低信息密度的数据中挖掘出高质量的结果
后续将学习的技术也是围绕着这三点来进行的，即：
分布式存储相关技术栈
分布式计算相关技术栈
海量数据传输相关技术栈
- 什么是大数据
狭义上：对海量数据进行处理的软件技术体系
广义上：数字化、信息化时代的基础支撑，以数据为生活赋能
- 大数据的5个主要特征
-
大：（数据量大）大数据的一个核心特点就是数据量巨大，通常用TB（太字节）、PB（拍字节）甚至更大单位来衡量。
-
多：（数据种类和来源多），大数据不仅包括传统的结构化数据，还包括半结构化和非结构化数据。例如，文本、图片、视频、音频等。
-
值：（低价值密度）虽然数据量庞大，但有用信息的密度较低，需要高效的数据处理技术来提取价值。
-
快：（增长速度快，处理速度快，获取速度快）数据流动速度快，需要实时或近实时处理。
-
信：结果准确，可以依赖
- 大数据的核心工作：
存储：妥善保存海量待处理数据
计算：完成海量数据的价值挖掘
传输：协助各个环节的数据传输
大数据处理步骤
明确分析的目的和思路：把分析的目的分解成若干个不同的分析要点
数据收集：一般数据来源为数据库、第三方数据统计工具、文件数据等
数据处理：（E抽取T转换L加载）主要包含数据清洗、数据转化、数据提取、数据计算等
数据分析：提取为数据有价值的信息的过程
数据可视化：一般能用图说明问题的不用表格，能用表格说明问题的就不要用文字
撰写报告：数据分析报告作为结论总结
大数据生态
存储: Apache Hadoop HDFS、Apache HBase等
计算: Apache Hadoop MapReduce、Apache Spark、Apache Flink
传输: Apache Sqoop、Apache Flume、Apache Kafka等
大数据主体上分成如下三大核心工作体系。
数据存储
数据计算
数据传输
大数据体系内的软件种类还是非常多的。在后续的学习中我们都能够逐步的接触到它们。
- 大数据的核心工作：
存储：妥善保存海量待处理数据
计算：完成海量数据的价值挖掘
传输：协助各个环节的数据传输
- 大数据软件生态
存储：Apache Hadoop HDFS、Apache HBase等
计算：Apache Hadoop MapReduce、Apache Spark、Apache Flink
传输：Apache Sqoop、Apache Flume、Apache Kafka等
hadoop发展历程
Hadoop创始人: Doug Cutting Hadoop起源于Apache Lucene子项目:Nutch Nutch的设计目标是构建一个大型的全网搜索引擎。 遇到瓶颈:如何解决数十亿网页的存储和索引问题 Google三篇论文: 三驾马车 《The Google file system》:谷歌分布式文件系统GFS 《MapReduce Simplified Data Processing on Large Clusters》:谷歌分布式计算框架MapReduce 《Bigtable A Distributed Storage System for Structured Data》:谷歌结构化数据存储系统 雅虎时代: 卡大爷带着hadoop去了雅虎.利用雅虎的资源发展技术. 开源社区版本: Apache软件基金会（Apache Software Foundation，简称ASF）是专门支持开源项目的一个非盈利性组织。 URL:http://hadoop.apache.org/ 商业发行版本: CDH（Cloudera's Distribution, including Apache Hadoop） Cloudera公司出品，目前使用最多的商业版 1.x版本系列: HDFS 和 MapReduce 2.x版本系列: HDFS 和 MapReduce 和 YARN 主要基于jdk7,但是jdk7在15年左右不更新,不得不切换更新版本 3.x版本系列: HDFS 和 MapReduce 和 YARN 依赖jdk8
什么是Hadoop?
Hadoop是Apache软件基金会下的顶级开源项目，用以提供：
分布式数据存储
分布式数据计算
分布式资源调度
为一体的整体解决方案。
Apache Hadoop是典型的分布式软件框架，可以部署在1台乃至成千上万台服务器节点上协同工作。 个人或企业可以借助Hadoop构建大规模服务器集群，完成海量数据的存储和计算。
Hadoop发展
Hadoop创始人：Doug Cutting
Hadoop起源于Apache Lucene子项目：Nutch
Nutch的设计目标是构建一个大型的全网搜索引擎。
遇到瓶颈：如何解决数十亿网页的存储和索引问题
Google三篇论文
《The Google file system》：谷歌分布式文件系统GFS
《MapReduce: Simplified Data Processing on Large Clusters》：谷歌分布式计算框架MapReduce
《Bigtable: A Distributed Storage System for Structured Data》：谷歌结构化数据存储系统
Hadoop发行版本
开源社区版本
Apache软件基金会（Apache Software Foundation，简称ASF）是专门支持开源项目的一个非盈利性组织。
商业发行版本
CDH（Cloudera's Distribution, including Apache Hadoop） Cloudera公司出品，目前使用最多的商业版
HDP（Hortonworks Data Platform），Hortonworks公司出品，目前被Cloudera收购
星环，国产商业版，星环公司出品，在国内政企使用较多
- 什么是Hadoop
Hadoop是开源的技术框架，提供分布式存储、计算、资源调度的解决方案
- Hadoop的发展
创始人Doug Cutting
基于Nutch搜索项目发展
发展受到Google三篇著名的论文影响
- Hadoop的版本
Apache 开源社区版 （原生版本）
Cloudera等商业公司自行封装的商业版
分布式和集群
分布式: 分布式的主要工作是分解任务，将职能拆解给多个服务器，多个服务器在一起做不同的事,配合完成同一个任务 集群: 集群主要是将同一个业务，部署在多个服务器上 ，多个人在一起做同样的事
分布式
概念
分布式是指将多台服务器集中在一起，每台服务器都实现总体中的不同业务，做不同的事情
单机模式
该模式可以形象的比喻为：一个餐厅的厨房只有一个人，这个人既要买菜、又要切菜、还要炒菜，效率很低！
分布式模式
该模式可以形象的比喻为：一个餐厅的厨房有三个人，一个人买菜、一个人切菜、一个人炒菜，效率提高了！
集群
概念
所谓集群是指一组独立的计算机系统构成的一多处理器系统，它们之间通过网络实现进程间的通信，让若干台计算机联合起来工作(服务)，可以是并行的，也可以是做备份。
分布式的基础架构
数量多，在现实生活中往往带来的不是提升，而是：混乱。
同学们思考一下， 众多的服务器一起工作，是如何高效、不出问题呢？
大数据体系中，分布式的调度主要有2类架构模式：
去中心化模式
中心化模式
去中心化模式
去中心化模式，没有明确的中心。
众多服务器之间基于特定规则进行同步协调。
中心化模式
主从模式
大数据框架，大多数的基础架构上，都是符合：中心化模式的。
即：有一个中心节点（服务器）来统筹其它服务器的工作，统一指挥，统一调派，避免混乱。
这种模式，也被称之为：一主多从模式，简称主从模式（Master And Slaves）
我们学习的Hadoop框架，就是一个典型的主从模式（中心化模式）架构的技术框架。
分布式和集群区别?
分布式 ：分布式的主要工作是分解任务，将职能拆解，多个人在一起做不同的事
集群：集群主要是将同一个业务，部署在多个服务器上 ，多个人在一起做同样的事
Hadoop是哪种分布式架构模式？
主从模式（中心化模式）的架构
Hadoop框架概论
Hadoop介绍
Hadoop是Apache旗下的一个用Java语言实现开源软件框架，是一个存储和计算大规模数据的软件平台。
Hadoop是Apache Lucene创始人 Doug Cutting 创建的，最早起源一个Nutch项目。
2003年Google发表了一篇GFS论文，为大规模数据存储提供了可行的解决方案。
2004年 Google发表论文MapReduce系统，为大规模数据计算提供可行的解决方案。
Nutch的开发人员以谷歌的论文为基础，完成了相应的开源实现HDFS和MAPREDUCE，并从Nutch中剥离成为独立项目Hadoop。
到2008年1月，HADOOP成为Apache顶级项目，迎来了它的快速发展期。
如今，国内外的互联网巨头基本都在使用Hadoop框架作为大数据解决方案，越来越多的企业将Hadoop 技术作为进入大数据领域的必备技术。
Hadoop框架内容
狭义解释
Hadoop指Apache这款开源框架，它的核心组件有：
HDFS（分布式文件系统）：解决海量数据存储
MAPREDUCE（分布式运算编程框架）：解决海量数据计算
YARN（作业调度和集群资源管理的框架）：解决资源任务调度
广义解释
广义上来说，Hadoop通常是指一个更广泛的概念------Hadoop生态圈。
Hadoop国内外应用
国外应用
Yahoo
Yahoo的Hadoop机器总节点数目已经超过42000个，有超过10万的核心CPU在运行Hadoop，总的集群存储容量大于350PB，每月提交的作业数目超过1000万个。
Yahoo的Hadoop应用主要包括以下几个方面：
广告系统支持
用户行为分析
Web搜索支持
反垃圾邮件系统
个性化推荐
国内应用
阿里巴巴
阿里巴巴的Hadoop集群大约有3200台服务器，大约30000物理CPU核心，总内存100TB，总的存储容量超过60PB，每天的作业数目超过150000个
Hadoop集群主要为电子商务网络平台提供底层的基础计算和存储服务，主要应用包括：
· 数据平台系统。
· 搜索支撑。
· 电子商务数据。
· 推荐引擎系统。
· 搜索排行榜。
Hadoop版本
发行版
Hadoop发行版本分为开源社区版和商业版。
开源社区版:指由Apache软件基金会维护的版本，是官方维护的版本体系,版本丰富，兼容性稍差。
商业版:指由第三方商业公司在社区版Hadoop基础上进行了一些修改、整合以及各个服务组件兼容性测试而发行的版本，比较著名的有cloudera的CDH等。
三大版本
1.x版本系列：hadoop的第二代开源版本，该版本基本已被淘汰
2.x版本系列：架构产生重大变化，引入了Yarn平台等许多新特性,是现在使用的主流版本。 3.x版本系列: 该版本是最新版本。
Hadoop架构
HDFS(分布式存储文件系统): 解决了海量数据的存储
NameNode(主节点):管理从节点,分配存储数据的任务 存储元数据(描述数据的数据) SecondaryNameNode(辅助主节点): 帮助主节点合并管理元数据
DataNode(从节点):存储海量数据
YARN(资源调度的组件): 解决了多任务的资源调度
ResourceManager(主节点): 接收用户计算请求任务 根据任务进行资源分配 NodeManager(从节点): 执行主节点分配的任务
MapReduce(分布式计算组件): 解决了海量数据的计算
核心思想: 分而治之
map阶段: 先拆分成多个map任务
reduce阶段: 再执行reduce任务把各个map结果合并归纳
三大组件配合:
MapReduce计算需要的数据和产生的结果需要HDFS来进行存储
MapReduce的运行需要由Yarn集群来提供资源调度。
Hadoop架构模块
Hadoop2.x 架构内部模型-HDFS 和Yarn
HDFS模块：
NameNode(主节点)：集群当中的主节点，主要用于管理集群当中的各种数据
SecondaryNameNode(辅助主节点)：主要能用于hadoop当中元数据信息的辅助管理
DataNode(从节点)：集群当中的从节点，主要用于存储集群当中的各种数据
数据计算核心模块：
ResourceManager(主节点)：接收用户的计算请求任务,并负责集群的资源分配
NodeManager(从节点)： 负责执行主节点分配的任务
Hadoop2.x 架构模型-MapReduce
Hadoop模块之间的关系
MapReduce计算需要的数据和产生的结果需要HDFS来进行存储
MapReduce的运行需要由Yarn集群来提供资源调度。
Hadoop集群搭建
集群简介
HADOOP集群具体来说包含两个集群：HDFS集群和YARN集群，两者逻辑上分离，但物理上常在一起。
HDFS集群
NameNode、DataNode、SecondaryNameNode
YARN集群
ResourceManager、NodeManager
集群搭建方式
Standalone mode（单机模式）
单机模式， 1个机器上运行HDFS的NameNode和DataNode、YARN的 ResourceManger和NodeManager，主要用于学习和调试。
Cluster mode（集群模式）
集群模式主要用于生产环境部署。会使用N台主机组成一个Hadoop集群。这种部署模式下，主节点和从节点会分开部署在不同的机器上。
大数据集群方案-单机模式
注意，在单机模式下，要求Windows系统运行内存至少也是8G！
大数据集群方案-集群模式
本套已经搭建好Hadoop所有的开发环境，集群模式方案如下:
注意，在集群模式下，要求Windows系统运行内存至少是16G！
Hadoop集群使用
集群介绍:
用户名: root
密码: 123456
初始使用: 把三台虚拟机快照恢复到7hive安装完成 注意: hive没有配置环境变量,可以自己配置
启动集群
启动hdfs和yarn命令: start-all.sh
停止hdfs和yarn命令: stop-all.sh
启动mr历史任务服务器: mapred --daemon start historyserver
jps: 查看java进程的一个小工具
本地配置域名映射
注意: 想要上传文件夹需要配置本地域名映射
hosts文件路径: C:\Windows\System32\drivers\etc
把以下内容复制到文件末尾,保存
192.168.88.161 node1.itcast.cn node1
192.168.88.162 node2.itcast.cn node2
192.168.88.163 node3.itcast.cn node3
配置完成后,可以直接通过node1访问
Hadoop启动和关闭-集群模式
1、启动三台虚拟机
在资料中已经提供好了三台虚拟机， 分别为node1(192.168.88.161)、node2(192.168.88.162)、node3(192.168.88.163)
2、使用CRT分别连接三台虚拟机
3、集群一键启动和关闭
一键启动大数据环境
一键关闭大数据环境
注意: 想要查看mr历史任务需要单独启动historyserver
Hadoop页面访问-集群模式
4.查看启动进程-jps java的进程
5、查看HDFS页面
启动NameNode.连接URL: http://192.168.88.161:9870
6、查看YARN页面
启动ResourceManager.连接URL：http://192.168.88.161:8088
7、查看已经finished的mapreduce运行日志
启动historyserver.连接URL：http://192.168.88.161:19888
web-ui页面查看
HDFS: http://node1:9870/
YARN: http://node1:8088/
官方MapReduce示例
在Hadoop的安装包中，官方提供了MapReduce程序的示例examples，以便快速上手体验MapReduce。
该示例是使用java语言编写的，被打包成为了一个jar文件。
/export/server/hadoop-3.3.0/share/hadoop/mapreduce
评估圆周率π（PI）
MapReduce程序评估一下圆周率的值，执行中可以去YARN页面上观察程序的执行的情况。 hadoop jar hadoop-mapreduce-examples-3.3.0.jar pi x y
第一个参数pi：表示MapReduce程序执行圆周率计算；
第二个参数x：用于指定map阶段运行的任务次数，并发度，举例:x=10
第三个参数y：用于指定每个map任务取样的个数，举例: x=50。
单词词频统计WordCount
WordCount算是大数据统计分析领域的经典需求了，相当于编程语言的HelloWorld。统计文本数据中， 相同单词出现的总次数。用SQL的角度来理解的话，相当于根据单词进行group by分组，相同的单词 分为一组，然后每个组内进行count聚合统计。
已知word.txt文件内容如下,计算每个单词出现的次数
zhangsan lisi wangwu zhangsan
zhaoliu lisi wangwu zhaoliu
xiaohong xiaoming hanmeimei lilei
zhaoliu lilei hanmeimei lilei
第一个参数：wordcount表示执行单词统计的MapReduce程序；
第二个参数：指定输入文件的路径；
第三个参数：指定输出结果的路径（注意：该路径不能已存在）；
配置本地域名解析:
HadoopCluster
192.168.88.161 node1.itcast.cn node1
192.168.88.162 node2.itcast.cn node2
192.168.88.163 node3.itcast.cn node3
#添加后保存关闭
HDFS文件系统
HDFS的概述
在现代的企业环境中，单机容量往往无法存储大量数据，需要跨机器存储。统一管理分布在集群上的文件系统称为分布式文件系统 。
HDFS（Hadoop Distributed File System）是 Apache Hadoop 项目的一个子项目. Hadoop 非常适于存储大型数据 (比如 TB 和 PB), 其就是使用 HDFS 作为存储系统. HDFS 使用多台计算机存储文件, 并且提供统一的访问接口, 像是访问一个普通文件系统一样使用分布式文件系统.
分布式文件系统解决的问题就是大数据存储。它们是横跨在多台计算机上的存储系统。分布式文件系统在大数据时代有着广泛的应用前景，它们为存储和处理超大规模数据提供所需的扩展能力。
HDFS的特点
HDFS文件系统可存储超大文件，时效性稍差。
HDFS具有硬件故障检测和自动快速恢复功能。
HDFS为数据存储提供很强的扩展能力。
HDFS存储一般为一次写入，多次读取，只支持追加写入，不支持随机修改。
HDFS可在普通廉价的机器上运行。
HDFS的架构
HDFS采用Master/Slave架构
一个HDFS集群有两个重要的角色，分别是Namenode和Datanode。
HDFS的四个基本组件:HDFS Client、NameNode、DataNode和Secondary NameNode。
1、Client
就是客户端。
文件切分。文件上传 HDFS 的时候，Client 将文件切分成 一个一个的Block，然后进行存储
与 NameNode 交互，获取文件的位置信息。
与 DataNode 交互，读取或者写入数据。
Client 提供一些命令来管理 和访问HDFS，比如启动或者关闭HDFS。
2、NameNode
就是 master，它是一个主管、管理者。
管理 HDFS 元数据（文件路径，文件的大小，文件的名字，文件权限，文件的block切片信息....）。
配置副本策略。
处理客户端读写请求。
3、DataNode
就是Slave。
NameNode 下达命令，DataNode 执行实际的操作。
存储实际的数据块。
执行数据块的读/写操作。
定时向namenode汇报block信息。
4、Secondary NameNode
并非 NameNode 的热备。
当NameNode 挂掉的时候，它并不能马上替换 NameNode 并提供服务。
辅助 NameNode，分担其工作量。 在紧急情况下，可辅助恢复 NameNode。
HDFS的副本机制
HDFS被设计成能够在一个大集群中跨机器可靠地存储超大文件。它将每个文件存储成一系列的数据块，这个数据块被称为block，除了最后一个，所有的数据块都是同样大小的。
hdfs配置文件:https://hadoop.apache.org/docs/r3.3.4/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml
为了容错，文件的所有block都会有副本。每个文件的数据块大小和副本系数都是可配置的。 hadoop 当中, 文件的 block 块大小默认是 128M（134217728字节）。
hadoop 当中, 文件的 block 块大小默认是 128M（134217728字节）默认是3个副本。
HDFS被设计成能够在一个大集群中跨机器可靠地存储超大文件。它将每个文件存储成一系列的数据块，这个数据块被称为block，除了最后一个，所有的数据块都是同样大小的。
hdfs配置文件:https://hadoop.apache.org/docs/r3.3.4/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml
为了容错，文件的所有block都会有副本。每个文件的数据块大小和副本系数都是可配置的。
HDFS的Shell命令
HDFS的shell命令: 操作命令类似于Linux的shell对文件的操作，如ls、mkdir、rm等。
HDFS的shell命令格式:
格式1: hadoop fs <args> # 既可以操作HDFS，也可以操作本地系统
或者
格式2: hdfs dfs <args> # 只能操作HDFS系统
可以使用hdfs dfs -h 查看所有命令
put: 上传 本地linux系统上传到HDFS文件系统上
get: 下载 从HDFS文件系统上下载到本地
Shell命令介绍
安装好hadoop环境之后，可以执行hdfs相关的shell命令对hdfs文件系统进行操作，比如文件的创建、删除、修改文件权限等。
对HDFS的操作命令类似于Linux的shell对文件的操作，如ls、mkdir、rm等。
Hadoop提供了文件系统的shell命令使用格式如下：
ls命令
mkdir命令
put命令
get命令
hadoop fs -get [-f] [-p] <src> ... <localdst>
下载文件到本地文件系统指定目录，localdst必须是目录
-f 覆盖目标文件（已存在下）
-p 保留访问和修改时间，所有权和权限。
mv命令
rm命令
cp命令
cat命令
HDFS shell命令行常用操作
合并下载HDFS文件
hadoop fs -getmerge [-nl] [-skip-empty-file] <src> <localdst>
下载多个文件合并到本地文件系统的一个文件中。
-nl选项表示在每个文件末尾添加换行符
追加数据到HDFS文件中
hadoop fs -appendToFile <localsrc> ... <dst>
将所有给定本地文件的内容追加到给定dst文件。
dst如果文件不存在，将创建该文件。
如果<localSrc>为-，则输入为从标准输入中读取。
