【Linux】-Spark分布式内存计算集群部署[20]

注意:

本节的操作,需要前置准备好Hadoop生态集群,请先部署好Hadoop环境

简介

Spark是一款分布式内存计算引擎,可以支持海量数据的分布式计算。

Spark在大数据体系是明星产品,作为最新一代的综合计算引擎,支持离线计算和实时计算。

在大数据邻域广泛应用,是目前世界上使用最多的大数据分布式计算引擎。

将基于前面构建的Hadoop集群,部署Spark Standalone集群

安装

1、【node1执行】 下载并解压

下载

复制代码
wget https://archive.apache.org/dist/spark/spark-2.4.5/spark-2.4.5-bin-hadoop2.7.tgz

解压到文件夹/expoet/server中

复制代码
tar -zxvf spark-2.4.5-bin-hadoop2.7.tgz -C /export/server

构建软链接

复制代码
ln -s /export/server/spark-2.4.5-bin-hadoop2.7 /export/server/spark

2、【node1执行】 修改配置文件名称

复制代码
# 改名
cd /export/server/spark/conf
mv spark-env.sh.template spark-env.sh
mv slaves.template slaves

3、【node1执行】修改配置文件,spark-env.sh

复制代码
## 设置JAVA安装目录
JAVA_HOME=/export/server/jdk

## HADOOP软件配置文件目录,读取HDFS上文件和运行YARN集群
HADOOP_CONF_DIR=/export/server/hadoop/etc/hadoop
YARN_CONF_DIR=/export/server/hadoop/etc/hadoop

## 指定spark老大master的ip和提交任务的通信端口
export SPARK_MASTER_HOST=node1
export SPARK_MASTER_PORT=7077

SPARK_MASTER_WEBUI_PORT=8080
SPARK_WORKER_CORES=1
SPARK_WORKER_MEMORY=1g

4、【node1执行】 修改配置文件,slaver

复制代码
node1
node2
node3

5、【node1执行】分发到node2、node3

复制代码
scp -r spark-2.4.5-bin-hadoop2.7 node2:$PWD
scp -r spark-2.4.5-bin-hadoop2.7 node3:$PWD

6、【node2、node3】构建软链接

复制代码
ln -s /export/server/spark-2.4.5-bin-hadoop2.7 /export/server/spark

7、【node1】 启动spark集群

复制代码
/export/server/spark/sbin/start-all.sh

如需停止,执行下列代码

复制代码
/export/server/spark/sbin/stop-all.sh

8、打开spark监控页面,浏览器打开:http://node1:8081

至此、spark集群就部署完毕啦。

相关推荐
一晌小贪欢5 小时前
Python爬虫第10课:分布式爬虫架构与Scrapy-Redis
分布式·爬虫·python·网络爬虫·python爬虫·python3
沐浴露z13 小时前
一篇文章详解Kafka Broker
java·分布式·kafka
pythonpioneer15 小时前
Ray Tune 强大的分布式超参数调优框架
分布式·其他
笨蛋少年派15 小时前
Hadoop High Availability 简介
大数据·hadoop·分布式
一只小透明啊啊啊啊17 小时前
Java电商项目中的概念: 高并发、分布式、高可用、微服务、海量数据处理
java·分布式·微服务
兜兜风d'1 天前
RabbitMQ 七种工作模式全解析
分布式·rabbitmq
菜鸡儿齐1 天前
kafka高可靠性
分布式·kafka
兜兜风d'1 天前
RabbitMQ 持久性详解
spring boot·分布式·rabbitmq·1024程序员节
blammmp1 天前
RabbitMQ :概述,Web界面介绍,快速上手,工作模式
java·分布式·rabbitmq
Empty_7771 天前
Ceph分布式存储
分布式·ceph