在spark中配置历史服务器

在 Spark 中配置历史服务器,可按以下步骤操作:

1. 配置 spark-defaults.conf 文件

此文件一般位于 $SPARK_HOME/conf 目录下。若该文件不存在,可从 spark-defaults.conf.template 复制一份。

在文件里添加如下配置:

plaintext

复制代码
spark.eventLog.enabled           true
spark.eventLog.dir               hdfs://<namenode>:<port>/spark-logs

其中,<namenode> 是 HDFS 名称节点的主机名,<port> 是 HDFS 名称节点的端口号。你要确保 HDFS 路径存在,并且 Spark 有写入该路径的权限。

2. 配置 spark-env.sh 文件

同样在 $SPARK_HOME/conf 目录下,若文件不存在,可从 spark-env.sh.template 复制一份。

添加如下配置:

bash

复制代码
export SPARK_HISTORY_OPTS="-Dspark.history.fs.logDirectory=hdfs://<namenode>:<port>/spark-logs -Dspark.history.ui.port=18080"

这里的 <namenode><port> 要和 spark-defaults.conf 里的配置一致。18080 是历史服务器的端口号,你可按需修改。

3. 启动历史服务器

在 Spark 集群的任意节点上运行以下命令来启动历史服务器:

bash

复制代码
$SPARK_HOME/sbin/start-history-server.sh

4. 访问历史服务器

启动成功后,你可以通过浏览器访问 http://<hostname>:18080 来查看 Spark 作业的历史记录,其中 <hostname> 是运行历史服务器的节点的主机名。

5. 停止历史服务器

若要停止历史服务器,可运行以下命令:

bash

复制代码
$SPARK_HOME/sbin/stop-history-server.sh

通过以上步骤,你就能成功在 Spark 中配置并使用历史服务器了。要注意的是,配置完成后,后续运行的 Spark 作业的日志会被记录到指定的 HDFS 路径,这样你就能在历史服务器上查看这些作业的详细信息了。

分享

相关推荐
翻滚吧键盘7 分钟前
vue绑定一个返回对象的计算属性
前端·javascript·vue.js
眠修11 分钟前
Kuberrnetes 服务发布
linux·运维·服务器
苦夏木禾11 分钟前
js请求避免缓存的三种方式
开发语言·javascript·缓存
超级土豆粉19 分钟前
Turndown.js: 优雅地将 HTML 转换为 Markdown
开发语言·javascript·html
乆夨(jiuze)1 小时前
记录H5内嵌到flutter App的一个问题,引发后面使用fastClick,引发后面input输入框单击无效问题。。。
前端·javascript·vue.js
小彭努力中1 小时前
141.在 Vue 3 中使用 OpenLayers Link 交互:把地图中心点 / 缩放级别 / 旋转角度实时写进 URL,并同步解析显示
前端·javascript·vue.js·交互
BAOYUCompany2 小时前
暴雨服务器成功中标华中科技大学集成电路学院服务器采购项目
运维·服务器
小飞悟2 小时前
前端高手才知道的秘密:Blob 居然这么强大!
前端·javascript·html
code_YuJun2 小时前
Promise 基础使用
前端·javascript·promise
Codebee2 小时前
OneCode自主UI设计体系:架构解析与核心实现
前端·javascript·前端框架