一、分布式的思想
不管是数据也好，计算也好，都没有最大的电脑，而是多个小电脑组合而成。
存储：将3T的文件拆分成若干个小文件，例如每500M一个小文件，将这些小文件存储在不同的机器上 。 -- HDFS
计算：
分：将一个大的任务拆分成多个小的任务，每台机器处理一 个小的任务，并行处理
合：将多个小任务的结果最终再合并生成最终的结果进行返 回问题解决 。
--MapReduce (Hive)
Spark 解决不了存储的问题，spark是搞计算的。你学习了spark，以前的计算引擎都可以作废了。Spark可以做离线的计算可以做准实时（实时计算目前使用Flink比较多）
发展 ：计算引擎 ---存储还得是hdfs
第一代计算引擎：MapReduce：用廉价机器实现分布式大数据处理
第二代计算引擎：Tez：基于MR优化了DAG，性能比MR快一些
第三代计算引擎：Spark：优先使用内存式计算引擎 ，国内目前主要应用的离线计算引擎
第四代计算引擎：Flink：实时流式计算引擎 , 国内目前最主流实时计算引擎
二、Spark简介 [火花]
1、发展历程
DataBricks官网：https://databricks.com/spark/about
spark的诞生其实是因为MR计算引擎太慢了。
MR计算是基于磁盘的，Spark计算是基于内存的。
spark的发展历程：
2009年，Spark诞生于伯克利AMPLab，伯克利大学的研究性项目。
2014年2月成为Apache顶级项目，同年5月发布Spark 1.0正式版本
2018年Spark2.4.0发布，成为全球最大的开源项目，目前是Apache中的顶级项目之一。
2020年6月Spark发布3.0.0正式版，目前学习的就是3.x
apache给它分配的网站：Apache Spark™ - Unified Engine for large-scale data analytics
定义：基于内存式计算的 分布式 的统一化的数据分析引擎。
分析引擎：hive 、spark、presto、impala 等。所谓的引擎，狭义理解就是sql。
2、spark能做什么？
实现离线数据批处理：类似于MapReduce、Pandas，写代码做处理：代码类的离线数据处理
实现交互式即时数据查询：类似于Hive、Presto、Impala，使 用SQL做即席查询分析：SQL类的离线数据处理
实现实时数据处理：类似于Storm、Flink实现分布式的实时计算：代码类实时计算或者SQL类的实时计算
实现机器学习的开发：代替传统一些机器学习工具
3、spark有哪些部分组成？
Hadoop的组成部分：common、MapReduce、Hdfs、Yarn
Spark Core：Spark最核心的模块，可以基于多种语言实现代码类的离线开发 【类似于MR】Spark SQL：类似于Hive，基于SQL进行开发，SQL会转换为SparkCore离线程序 【类似Hive】
Spark Streaming：基于SparkCore之上构建了准实时的计算模块 【淘汰了】
Struct Streaming：基于SparkSQL之上构建了结构化实时计算模块 【替代了Spark Streaming】
Spark ML lib：机器学习算法库，提供各种机器学习算法工具，可以基于SparkCore或者SparkSQL实现开发。
开发语言 ：Python、SQL、Scala、Java、R【Spark的源码是通过Scala语言开发的】
一个软件是什么语言写的，跟什么语言可以操作这个软件是两回事儿。
Scala 语言是基于java实现的，底层也需要虚拟机。
4、spark运行有五种模式【重点】
本地模式：Local：一般用于做测试，验证代码逻辑，不是分布式运行，只会启动1个进程来运行所有任务。
集群模式：Cluster：一般用于生产环境，用于实现PySpark程序的分布式的运行
Standalone ：Spark自带的分布式资源平台，功能类似于YARN
YARN ：Spark on YARN，将Spark程序提交给YARN来运行，工作中主要使用的模式
Mesos：类似于YARN，国外见得多，国内基本见不到
K8s：基于分布式容器的资源管理平台，运维层面的工具。
解释：Spark是一个分布式的分析引擎，所以它部署的时候是分布式的，有用主节点，从节点这些内容。Standalone使用的是 Spark 自带 的分布式资源平台，但是假如一个公司已经有Yarn分析平台了，就没必要再搭建spark分析平台，浪费资源。
学习过程中： 本地模式 --> Standalone --> YARN ，将来spark在yarn上跑。
5、spark 为什么比MR快？
1、MR不支持DAG【有向无环图】，计算过程是固定，一个MR 只有1个Map和1个Reduce构成。 一个Map和Reduce是一个过程，和另一个Map和Reduce是不一样的。
从落地到磁盘的那一刻，上一个过程已经结束了，下一个过程和上一个过程没有关系了。
2、MR是一个基于磁盘的计算框架，读写效率比较低
3、MR的Task计算是进程级别的，每次运行一个Task都需要启动一个进程，然后运行结束还是释放进程，比较慢。【一个进程可以包含多个线程，比如qq是一个进程，发消息，传文件是一个个线程】
MapTask：进程
ReduceTask：进程
进程启动和销毁是比较耗时的
spark为什么那么快？
1、Spark支持DAG，一个Spark程序中的过程是不固定，由代码 所决定。
2、Task任务都是线程级别的
3、计算是基于内存的。
总结：1.数据结构一个HDFS,一个是RDD
2.计算流结构一个用的MR，一个是DAG
3.中间存储一个放到磁盘，一个全在内存
4.运行方式一个用进程，一个是线程
一、Standalone集群环境安装
1、理解Standalone集群架构
架构：普通分布式主从架构
主：Master：管理节点：管理从节点、接客、资源管理和任务
调度，等同于YARN中的ResourceManager
从：Worker：计算节点：负责利用自己节点的资源运行主节点
分配的任务
功能：提供分布式资源管理和任务调度，基本上与YARN是一致的
看着很像Yarn,其实作用跟yarn一样，是spark自带的计算平台。
每一台服务器上都要安装Annaconda ，否则会出现python3 找不到的错误！！
2、Standalone集群部署
第一步：将bigdata02和bigdata03安装Annaconda，因为里面有python3环境，假如没有安装的话，就报这个错误：