【Linux】-Spark分布式内存计算集群部署[20]

注意:

本节的操作,需要前置准备好Hadoop生态集群,请先部署好Hadoop环境

简介

Spark是一款分布式内存计算引擎,可以支持海量数据的分布式计算。

Spark在大数据体系是明星产品,作为最新一代的综合计算引擎,支持离线计算和实时计算。

在大数据邻域广泛应用,是目前世界上使用最多的大数据分布式计算引擎。

将基于前面构建的Hadoop集群,部署Spark Standalone集群

安装

1、【node1执行】 下载并解压

下载

复制代码
wget https://archive.apache.org/dist/spark/spark-2.4.5/spark-2.4.5-bin-hadoop2.7.tgz

解压到文件夹/expoet/server中

复制代码
tar -zxvf spark-2.4.5-bin-hadoop2.7.tgz -C /export/server

构建软链接

复制代码
ln -s /export/server/spark-2.4.5-bin-hadoop2.7 /export/server/spark

2、【node1执行】 修改配置文件名称

复制代码
# 改名
cd /export/server/spark/conf
mv spark-env.sh.template spark-env.sh
mv slaves.template slaves

3、【node1执行】修改配置文件,spark-env.sh

复制代码
## 设置JAVA安装目录
JAVA_HOME=/export/server/jdk

## HADOOP软件配置文件目录,读取HDFS上文件和运行YARN集群
HADOOP_CONF_DIR=/export/server/hadoop/etc/hadoop
YARN_CONF_DIR=/export/server/hadoop/etc/hadoop

## 指定spark老大master的ip和提交任务的通信端口
export SPARK_MASTER_HOST=node1
export SPARK_MASTER_PORT=7077

SPARK_MASTER_WEBUI_PORT=8080
SPARK_WORKER_CORES=1
SPARK_WORKER_MEMORY=1g

4、【node1执行】 修改配置文件,slaver

复制代码
node1
node2
node3

5、【node1执行】分发到node2、node3

复制代码
scp -r spark-2.4.5-bin-hadoop2.7 node2:$PWD
scp -r spark-2.4.5-bin-hadoop2.7 node3:$PWD

6、【node2、node3】构建软链接

复制代码
ln -s /export/server/spark-2.4.5-bin-hadoop2.7 /export/server/spark

7、【node1】 启动spark集群

复制代码
/export/server/spark/sbin/start-all.sh

如需停止,执行下列代码

复制代码
/export/server/spark/sbin/stop-all.sh

8、打开spark监控页面,浏览器打开:http://node1:8081

至此、spark集群就部署完毕啦。

相关推荐
野犬寒鸦4 分钟前
从零起步学习Redis || 第五章:利用Redis构造分布式全局唯一ID
java·服务器·数据库·redis·分布式·后端·缓存
孟意昶2 小时前
Spark专题-第三部分:性能监控与实战优化(2)-分区优化
大数据·分布式·sql·性能优化·spark·big data
Hello.Reader3 小时前
Kafka 安全SASL 认证全栈实战从 JAAS 到 Kerberos、PLAIN、SCRAM、OAUTH 与委托令牌
分布式·安全·kafka
失散133 小时前
分布式专题——25 深入理解网络通信和TCP、IP协议
java·分布式·网络协议·tcp/ip·架构
理智的煎蛋17 小时前
基于 Celery 的分布式文件监控系统
redis·分布式·python·mysql·mongodb
失散1320 小时前
分布式专题——22 Kafka集群工作机制详解
java·分布式·云原生·架构·kafka
Lansonli1 天前
大数据Spark(六十五):Transformation转换算子groupByKey和filter
大数据·分布式·spark
拾忆,想起1 天前
RabbitMQ死信交换机:消息的“流放之地“
开发语言·网络·分布式·后端·性能优化·rabbitmq
沐浴露z1 天前
一篇文章入门RabbitMQ:基本概念与Java使用
java·分布式·rabbitmq
失散131 天前
分布式专题——24 Kafka功能扩展
java·分布式·云原生·架构·kafka