Spark,配置历史服务

配置历史服务

一、停止任务

进入/opt/module/spark-standalone/sbin, 运行命令:

./stop-all.sh

二、修改配置

进入 /opt/module/spark-standalone/conf/spark-default.conf.temple 先把名称改成spark-default.conf,再补充两个设置。如下所示具体代码如下:

spark.eventLog.enabled true

spark.eventLog.dir hdfs://hadoop100:8020/directory

三、创建目录

启动hadoop的hdfs服务(start-dfs.sh),并在根目录创建目录directory。可以通过命令行的方式来创建,也可以通过hadoop100:9870的页面操作来创建。

四、修改spark-env.sh文件

(注:4、5两步在上一条博客中直接一起配置了,所以这里可自行跳过)

添加一句设置:

export SPARK_HISTORY_OPTS="-Dspark.history.fs.logDirectory=hdfs://hadoop100:8020/directory"

五、分发配置文件

xsync /opt/module/spark-standalone/conf/

六、重启spark集群。

命令是 ./start-all.sh

七、启动历史服务器

命令是 ./start-history-server.sh

相关推荐
鱼鱼不愚与3 分钟前
处理 Clickhouse 内存溢出
数据库·分布式·clickhouse
成长之路51411 分钟前
【工具变量】最新华证ESG评级得分数据-含xlsx及dta格式(2009-2024.12)
大数据
巴拉特好队友1 小时前
说说es配置项的动态静态之分和集群配置更新API
大数据·elasticsearch·搜索引擎
End9281 小时前
MapReduce中的分区器
大数据·hadoop
玄武后端技术栈1 小时前
RabbitMQ中Exchange交换器的类型
分布式·rabbitmq
小Tomkk1 小时前
怎么在非 hadoop 用户下启动 hadoop
大数据·hadoop·问题
玄武后端技术栈1 小时前
RabbitMQ如何保证消息不丢失?
分布式·rabbitmq·ruby
极小狐2 小时前
极狐GitLab 如何将项目共享给群组?
大数据·数据库·elasticsearch·机器学习·gitlab
Aric_Jones2 小时前
FastDFS,分布式文件存储系统,介绍+配置+工具类
java·数据库·redis·分布式·idea·dfs
结冰架构3 小时前
【AI提示词】AARRR 模型执行者
大数据·人工智能·ai·提示词·思维模型