历史服务器

qq_401350062023-10-05 19:20

二、配置历史服务器

在spark-3.1.1-bin-hadoop2.7/conf/spark-defaults.conf添加以下配置，其中d:/log/spark为日志保存位置

spark.eventLog.enabled true

spark.eventLog.dir file:///d:/log/spark

spark.eventLog.compress true

spark.history.fs.logDirectory file:///d:/log/spark

使用命令启动历史服务器，可以看到启动的端口号，通过 http://localhost:端口号访问历史服务器

Spark-class org.apache.spark.deploy.history.HistoryServer

在scala代码中的SparkSession添加以下配置

.config("spark.eventLog.enabled", value = true)

.config("spark.eventLog.dir", "file:///D:/log/spark")

.config("spark.history.fs.logDirectory", "file:///D:/log/spark")