spark独立集群搭建

spark独立集群搭建(不依赖Hadoop)

1、上传spark-2.4.5-bin-hadoop2.7.tgz至 /usr/local/moudel ,再解压到 /usr/local/soft

tar -zxvf spark-2.4.5-bin-hadoop2.7.tgz -C /usr/local/soft/

重命名

mv spark-2.4.5-bin-hadoop2.7/ spark-2.4.5

配置环境变量

vim /etc/profile

添加

export SPARK_HOME=/usr/local/soft/spark-2.4.5

在path后面添加 :$SPARK_HOME/bin

2、进入 spark-2.4.5/conf 目录 ,修改配置文件

修改主节点配置文件

cp spark-env.sh.template spark-env.sh

vim spark-env.sh

直接在文件最下方添加

export SPARK_MASTER_IP=master

export SPARK_MASTER_PORT=7077

export SPARK_WORKER_CORES=2

export SPARK_WORKER_INSTANCES=1

export SPARK_WORKER_MEMORY=2g

export JAVA_HOME=/usr/local/soft/jdk1.8.0_171

修改从节点配置文件

cp slaves.template slaves

vim slaves

删除localhost 添加

node1

node2

3、复制到其它节点

cd /usr/local/soft

scp -r spark-2.4.5/ node1:`pwd`

scp -r spark-2.4.5/ node2:`pwd`

4、在master节点 spark的sbin目录下启动spark

cd /usr/local/soft/spark-2.4.5/sbin

./start-all.sh

http://master:8080/ 访问spark UI ---- spark独立集群安装完成

5、测试

spark有两种模式 :

(1) standalone client模式 日志在本地输出,一般用于上线前测试(bin/下执行)

cd /usr/local/soft/spark-2.4.5/examples/jars

提交spark任务

spark-submit --class org.apache.spark.examples.SparkPi --master spark://master:7077 --executor-memory 512m --total-executor-cores 1 spark-examples_2.11-2.4.5.jar 100

(2) standalone cluster模式 上线使用,不会再本地打印日志 需要到网页查看结果

cd /usr/local/soft/spark-2.4.5/examples/jars

提交spark任务

spark-submit --class org.apache.spark.examples.SparkPi --master spark://master:7077 --executor-memory 512M --total-executor-cores 1 --deploy-mode cluster spark-examples_2.11-2.4.5.jar 100

------------ 以后都不会使用的 -----------------

===================== 若集群已有yarn , 就不需要再搭建Spark独立集群了 ==================================================================

以后都会使用 整合 yarn

相关推荐
wuyk5554 小时前
Spider-第16讲-线程池与竞态问题
大数据·爬虫·python·elasticsearch·搜索引擎
数字新视界8 小时前
全国产化动环监控平台在机房智能化管理中的应用探索
大数据·人工智能·数据中心·机房管理·模块化机房
TDengine (老段)9 小时前
TDengine IDMP 预测、异常检测与数据插补
大数据·数据库·人工智能·时序数据库·tdengine·涛思数据·idmp
国科安芯11 小时前
CAN FD一升到5Mbps就误码:位定时、终端与共模的现场排查顺序——ASM1042S2S在星载分布式总线中的FAE实践
分布式·安全·架构·canfd·dcdc·抗辐射·载荷
字节跳动数据平台12 小时前
火山引擎 VeKnow 落地指南(上):从选场景到知识治理
大数据
安心联-车辆监控管理系统14 小时前
以事实为基础,详解车辆主动安全相关功能
大数据·人工智能·安全
大大大大晴天1 天前
每天认识一个组件:VictoriaMetrics
大数据
龙腾AI白云1 天前
具身智能的空间导航与未知环境探索
大数据·数据库·人工智能·机器学习·知识图谱
演艺大赏1 天前
三个坑连环套:一次 NameNode 起不来,从 JournalNode 未格式化查到配置里多了个挂载点
大数据·hadoop
Aloudata1 天前
服饰零售数据治理如何统一款色码与库存口径,支撑门店售罄率和补货分析?
大数据·数据分析·零售