Spark,配置历史服务

配置历史服务

一、停止任务

进入/opt/module/spark-standalone/sbin, 运行命令:

./stop-all.sh

二、修改配置

进入 /opt/module/spark-standalone/conf/spark-default.conf.temple 先把名称改成spark-default.conf,再补充两个设置。如下所示具体代码如下:

spark.eventLog.enabled true

spark.eventLog.dir hdfs://hadoop100:8020/directory

三、创建目录

启动hadoop的hdfs服务(start-dfs.sh),并在根目录创建目录directory。可以通过命令行的方式来创建,也可以通过hadoop100:9870的页面操作来创建。

四、修改spark-env.sh文件

(注:4、5两步在上一条博客中直接一起配置了,所以这里可自行跳过)

添加一句设置:

export SPARK_HISTORY_OPTS="-Dspark.history.fs.logDirectory=hdfs://hadoop100:8020/directory"

五、分发配置文件

xsync /opt/module/spark-standalone/conf/

六、重启spark集群。

命令是 ./start-all.sh

七、启动历史服务器

命令是 ./start-history-server.sh

相关推荐
2501_9436953325 分钟前
高职大数据技术专业,怎么参与开源数据分析项目积累经验?
大数据·数据分析·开源
Dxy12393102161 小时前
别再让 ES 把你拖垮!5 个实战技巧让搜索性能提升 10 倍
大数据·elasticsearch·搜索引擎
2501_943695332 小时前
大专市场调查与统计分析专业,怎么辨别企业招聘的“画饼”岗位?
大数据
七夜zippoe2 小时前
CANN Runtime跨进程通信 共享设备上下文的IPC实现
大数据·cann
威胁猎人2 小时前
【黑产大数据】2025年全球电商业务欺诈风险研究报告
大数据
L543414462 小时前
告别代码堆砌匠厂架构让你的系统吞吐量翻倍提升
大数据·人工智能·架构·自动化·rpa
证榜样呀2 小时前
2026 大专计算机专业必考证书推荐什么
大数据·前端
LLWZAI2 小时前
让朱雀AI检测无法判断的AI公众号文章,当创作者开始与算法「躲猫猫」
大数据·人工智能·深度学习
難釋懷3 小时前
分布式锁的原子性问题
分布式
SickeyLee3 小时前
产品经理案例分析(五):电商产品后台设计:撑起前台体验的 “隐形支柱”
大数据