在spark中配置历史服务器

在 Spark 中配置历史服务器,可按以下步骤操作:

1. 配置 spark-defaults.conf 文件

此文件一般位于 $SPARK_HOME/conf 目录下。若该文件不存在,可从 spark-defaults.conf.template 复制一份。

在文件里添加如下配置:

plaintext

复制代码
spark.eventLog.enabled           true
spark.eventLog.dir               hdfs://<namenode>:<port>/spark-logs

其中,<namenode> 是 HDFS 名称节点的主机名,<port> 是 HDFS 名称节点的端口号。你要确保 HDFS 路径存在,并且 Spark 有写入该路径的权限。

2. 配置 spark-env.sh 文件

同样在 $SPARK_HOME/conf 目录下,若文件不存在,可从 spark-env.sh.template 复制一份。

添加如下配置:

bash

复制代码
export SPARK_HISTORY_OPTS="-Dspark.history.fs.logDirectory=hdfs://<namenode>:<port>/spark-logs -Dspark.history.ui.port=18080"

这里的 <namenode><port> 要和 spark-defaults.conf 里的配置一致。18080 是历史服务器的端口号,你可按需修改。

3. 启动历史服务器

在 Spark 集群的任意节点上运行以下命令来启动历史服务器:

bash

复制代码
$SPARK_HOME/sbin/start-history-server.sh

4. 访问历史服务器

启动成功后,你可以通过浏览器访问 http://<hostname>:18080 来查看 Spark 作业的历史记录,其中 <hostname> 是运行历史服务器的节点的主机名。

5. 停止历史服务器

若要停止历史服务器,可运行以下命令:

bash

复制代码
$SPARK_HOME/sbin/stop-history-server.sh

通过以上步骤,你就能成功在 Spark 中配置并使用历史服务器了。要注意的是,配置完成后,后续运行的 Spark 作业的日志会被记录到指定的 HDFS 路径,这样你就能在历史服务器上查看这些作业的详细信息了。

分享

相关推荐
拳打南山敬老院11 分钟前
从零构建一个插件系统(四)插件的缓存
javascript·架构
new_abc18 分钟前
net-snmp添加自定义mib树
服务器·前端·javascript
幻雨様30 分钟前
UE5多人MOBA+GAS 30、技能升级机制
运维·服务器·ue5
樱花开了几轉1 小时前
React中的合成事件解释和理解
前端·javascript·react.js
code_life1 小时前
动态格式化时间
javascript
小高0071 小时前
告别“if-else”条件判断:5 个让 JavaScript 逻辑更优雅的写法
前端·javascript
妮妮喔妮2 小时前
重构vite.config.json
javascript·重构·json
Joey_Chen2 小时前
【What · Why · How】浅析select/poll/epoll与IO多路复用
linux·服务器
java叶新东老师2 小时前
CMakelists.txt 实现多级目录编译
java·服务器·数据库
前端 贾公子2 小时前
vue如何在data里使用this
前端·javascript·vue.js