Spark,配置历史服务

配置历史服务

一、停止任务

进入/opt/module/spark-standalone/sbin, 运行命令:

./stop-all.sh

二、修改配置

进入 /opt/module/spark-standalone/conf/spark-default.conf.temple 先把名称改成spark-default.conf,再补充两个设置。如下所示具体代码如下:

spark.eventLog.enabled true

spark.eventLog.dir hdfs://hadoop100:8020/directory

三、创建目录

启动hadoop的hdfs服务(start-dfs.sh),并在根目录创建目录directory。可以通过命令行的方式来创建,也可以通过hadoop100:9870的页面操作来创建。

四、修改spark-env.sh文件

(注:4、5两步在上一条博客中直接一起配置了,所以这里可自行跳过)

添加一句设置:

export SPARK_HISTORY_OPTS="-Dspark.history.fs.logDirectory=hdfs://hadoop100:8020/directory"

五、分发配置文件

xsync /opt/module/spark-standalone/conf/

六、重启spark集群。

命令是 ./start-all.sh

七、启动历史服务器

命令是 ./start-history-server.sh

相关推荐
Data_Journal3 分钟前
如何使用 Python 解析 JSON 数据
大数据·开发语言·前端·数据库·人工智能·php
威胁猎人12 分钟前
【黑产大数据】2025年全球KYC攻击风险研究报告
大数据·区块链
迎仔20 分钟前
00-大数据技术体系总览:大数据世界的“城市蓝图”
大数据
xixixi7777733 分钟前
互联网和数据分析中的核心指标 DAU (日活跃用户数)
大数据·网络·数据库·数据·dau·mau·留存率
绝缘体11 小时前
如何使用外卖霸王餐api接口?
大数据·搜索引擎·微信·pygame
幂链iPaaS2 小时前
市场六大专业iPaaS平台怎么选
大数据·人工智能
珠海西格2 小时前
光伏电站全景感知体系:数据采集与设备状态监测技术
大数据·运维·服务器·数据库·人工智能
代码匠心2 小时前
从零开始学Flink:Flink SQL 极简入门
大数据·flink·flink sql·大数据处理
stevenzqzq3 小时前
git 常用操作
大数据·git
JZC_xiaozhong3 小时前
多系统权限标准不统一?企业如何实现跨平台统一权限管控
java·大数据·微服务·数据集成与应用集成·iam系统·权限治理·统一权限管理