注意：
本节的操作，需要前置准备好Hadoop生态集群，请先部署好Hadoop环境
简介
Spark是一款分布式内存计算引擎，可以支持海量数据的分布式计算。
Spark在大数据体系是明星产品，作为最新一代的综合计算引擎，支持离线计算和实时计算。
在大数据邻域广泛应用，是目前世界上使用最多的大数据分布式计算引擎。
将基于前面构建的Hadoop集群，部署Spark Standalone集群
安装
1、【node1执行】 下载并解压
下载
wget https://archive.apache.org/dist/spark/spark-2.4.5/spark-2.4.5-bin-hadoop2.7.tgz
解压到文件夹/expoet/server中
tar -zxvf spark-2.4.5-bin-hadoop2.7.tgz -C /export/server
构建软链接
ln -s /export/server/spark-2.4.5-bin-hadoop2.7 /export/server/spark
2、【node1执行】 修改配置文件名称
# 改名
cd /export/server/spark/conf
mv spark-env.sh.template spark-env.sh
mv slaves.template slaves
3、【node1执行】修改配置文件，spark-env.sh
## 设置JAVA安装目录
JAVA_HOME=/export/server/jdk
## HADOOP软件配置文件目录，读取HDFS上文件和运行YARN集群
HADOOP_CONF_DIR=/export/server/hadoop/etc/hadoop
YARN_CONF_DIR=/export/server/hadoop/etc/hadoop
## 指定spark老大master的ip和提交任务的通信端口
export SPARK_MASTER_HOST=node1
export SPARK_MASTER_PORT=7077
SPARK_MASTER_WEBUI_PORT=8080
SPARK_WORKER_CORES=1
SPARK_WORKER_MEMORY=1g
4、【node1执行】 修改配置文件，slaver
node1
node2
node3
5、【node1执行】分发到node2、node3
scp -r spark-2.4.5-bin-hadoop2.7 node2:$PWD
scp -r spark-2.4.5-bin-hadoop2.7 node3:$PWD
6、【node2、node3】构建软链接
ln -s /export/server/spark-2.4.5-bin-hadoop2.7 /export/server/spark
7、【node1】 启动spark集群
/export/server/spark/sbin/start-all.sh
如需停止，执行下列代码
/export/server/spark/sbin/stop-all.sh
8、打开spark监控页面，浏览器打开：http://node1:8081
至此、spark集群就部署完毕啦。