Spark,集群搭建-Standalone

集群搭建-Standalone

一、解压

在之前的学习中我们有了一个软件包 spark.3.1.2-bin-hadoop3.2.tgz (eg我的在 /opt/software目录下)把这个软件包解压到 /opt/module 下(也可以自己决定解压到哪里)。对应的命令是:

tar -zxvf spark-3.3.1-bin-hadoop3.tgz -C /opt/module

二、重命名

进入 /opt/module/ 把解压的内容右键重命名一下为 spark-standalone ,也可使用命令:

mv spark-3.1.1-bin-hadoop3.2/ spark-standalone

三、配置环境变量,更新spark路径

打开 /etc/profile.d/my_env.sh 加入如下代码

四、同步环境变量,并使用source命令让它生效

root@hadoop100 \~\]# xsync /etc/profile.d ![](https://i-blog.csdnimg.cn/direct/b18c729d7d784b4f8a51d4cd179fc6d9.png) ### 五、修改配置文件 打开 /opt/module/spark-standalone/conf 中可看到修改文件内容前把 ****.template 后缀名****都删掉再打开 ****workers.template文件**** 内容设置为三个主机名 hadoop100 hadoop101 hadoop102 ****spark-env.sh.template文件**** export JAVA_HOME=/opt/module/jdk1.8.0_212 export HADOOP_HOME=/opt/module/hadoop-3.1.3 export SPARK_MASTER_IP=hadoop100 export SPARK_MASTER_PORT=7077 export SPARK_DIST_CLASSPATH=$(/opt/module/hadoop-3.1.3/bin/hadoop classpath) export HADOOP_CONF_DIR=/opt/module/hadoop-3.1.3/etc/hadoop export SPARK_YARN_USER_ENV="CLASSPATH=/opt/module/hadoop-3.1.3/etc/hadoop" export YARN_CONF_DIR=/opt/module/hadoop-3.1.3/etc/hadoop export SPARK_HISTORY_OPTS=" -Dspark.history.ui.port=18080 -Dspark.history.fs.logDirectory=hdfs://hadoop100:8020/directory -Dspark.history.retainedApplications=30 " **spark-defaults.conf.****te**mplate文件**** spark.eventLog.enabled true spark.eventLog.dir hdfs://hadoop100:8020/directory spark.yarn.historyServer.address=hadoop100:18080 spark.history.ui.port=18080 ### 六、启动SPARK集群。 进入到hadoop100机器,切换目录到/opt/module/spark-standalone/sbin下,运行命令 ./start-all.sh。 使用jps命令能看到我划线的就说明运行成功 ![](https://i-blog.csdnimg.cn/direct/d884517d0f6d486c9e9ce58daec2c15e.png) ### 七、查看启动结果 打开浏览器,输入hadoop100:8080。看到效果如下说明成功: ![](https://i-blog.csdnimg.cn/direct/7562d8ceba214627ad174525062cf582.png)

相关推荐
Bug退退退1234 小时前
RabbitMQ 高级特性之死信队列
java·分布式·spring·rabbitmq
prince055 小时前
Kafka 生产者和消费者高级用法
分布式·kafka·linq
诗旸的技术记录与分享6 小时前
Flink-1.19.0源码详解-番外补充3-StreamGraph图
大数据·flink
资讯分享周6 小时前
Alpha系统联结大数据、GPT两大功能,助力律所管理降本增效
大数据·gpt
菜萝卜子6 小时前
【Project】基于kafka的高可用分布式日志监控与告警系统
分布式·kafka
G皮T7 小时前
【Elasticsearch】深度分页及其替代方案
大数据·elasticsearch·搜索引擎·scroll·检索·深度分页·search_after
TDengine (老段)8 小时前
TDengine STMT2 API 使用指南
java·大数据·物联网·时序数据库·iot·tdengine·涛思数据
华子w9089258599 小时前
基于 Python Django 和 Spark 的电力能耗数据分析系统设计与实现7000字论文实现
python·spark·django
用户Taobaoapi20149 小时前
母婴用品社媒种草效果量化:淘宝详情API+私域转化追踪案例
大数据·数据挖掘·数据分析
G皮T10 小时前
【Elasticsearch】检索排序 & 分页
大数据·elasticsearch·搜索引擎·排序·分页·检索·深度分页