历史服务器

二、配置历史服务器

在spark-3.1.1-bin-hadoop2.7/conf/spark-defaults.conf添加以下配置,其中d:/log/spark为日志保存位置

spark.eventLog.enabled true

spark.eventLog.dir file:///d:/log/spark

spark.eventLog.compress true

spark.history.fs.logDirectory file:///d:/log/spark

使用命令启动历史服务器,可以看到启动的端口号,通过 http://localhost:端口号 访问历史服务器

Spark-class org.apache.spark.deploy.history.HistoryServer

在scala代码中的SparkSession添加以下配置

.config("spark.eventLog.enabled", value = true)

.config("spark.eventLog.dir", "file:///D:/log/spark")

.config("spark.history.fs.logDirectory", "file:///D:/log/spark")

相关推荐
速捷工控 PLC触摸屏还原程序16 小时前
欧姆龙NB上传密码忘了,换屏前怎么保留原程序?
运维·服务器·欧姆龙
爱勇宝17 小时前
SSL 证书别再手动续了:acme.sh + Let's Encrypt + 云厂商 DNS 全自动实战
运维·服务器
wacsii19 小时前
【Linux进程(五)】进程控制全解析:从创建、终止、等待到程序替换
linux·服务器
七夜zippoe20 小时前
Nexent Linux 部署:用 deploy.sh
linux·服务器·docker·部署·ai智能体·nexent
去码头整点薯条9820 小时前
NFS服务器
linux·运维·服务器
蜗牛一步步往上爬21 小时前
第一章 初识Linux shell
linux·运维·服务器
无足鸟ICT21 小时前
【RHCA+】系统调优配置文件
linux·服务器
饿了吃洗衣凝珠1 天前
DNS域名解析服务器
运维·服务器
布莱克6051 天前
Swift 字符串详解:从基础用法到性能与最佳实践
服务器·开发语言·ssh·字符串·swift
时间的拾荒人1 天前
Shell 脚本核心语法详解(下篇):流程控制、函数、重定向与文件包含
linux·运维·服务器·bash·脚本编程