
文章目录
[Spark WebUI介绍](#Spark WebUI介绍)
[一、Spark Master WebUI](#一、Spark Master WebUI)
[二、Spark Worker WebUI](#二、Spark Worker WebUI)
Spark WebUI介绍
本文面向正在使用或准备使用 Spark 的开发者与运维人员,尤其是需要通过 WebUI 快速定位作业运行状态、排查性能瓶颈的读者。全文依次介绍 Spark 的 7 个常用 WebUI 页面:Master WebUI、Worker WebUI、Application 使用 Executor 情况、Application 详细页面、Jobs 详细页面、Stage 详细页面和 Storage 持久化页面。建议按章节顺序阅读,先了解集群整体状态,再逐层深入到 Job、Stage 与 Task 级别,最后结合 Storage 页面确认 RDD 的持久化情况。
一、Spark Master WebUI
浏览器输入http://masterhost:8080,进入Master WebUI,Master默认的WebUI端口为8080。

二、Spark Worker WebUI
点击Worker相应的Id可以进入到Worker WebUI。Worker默认的WebUI端口为8081,也可以直接浏览器输入http://workerhost:8081,进入Worker WebUI。

三、查看Application使用Executor情况
在 Master WebUI 中点击"Application ID"查看当前 Application 使用 Executor 情况。

四、Application详细页面
在 Master WebUI 中点击"Name"查看当前 Application 运行详细情况。

五、Jobs详细页面
在 Application 详细页面,点击"Job Id"进入 Stage 信息。当前 Spark Shell WordCount 任务中每个 Stage 并行度为 2,Job 共运行 4 个 task。并行度为 2 的原因是由 textFile 读取文件的并行度决定的,具体如下:
Scala
def textFile(
path: String,
minPartitions: Int = defaultMinPartitions): RDD[String] = ...
def defaultMinPartitions: Int = math.min(defaultParallelism, 2)
其中 defaultMinPartitions 默认值由"spark.default.parallelism"参数决定,该参数的值在 local 模式中为本地机器的 core 数,如果代码中设置为 local=local1,表示 1 个并行度;在 Mesos 模式中为 8;在其他模式中是所有 Executor 节点上的 core 数与 2 取较大值。

六、Stage详细页面
在 Job 详情页面中,点击任意的"Stage Id"进入 Stage 详细页面,页面中显示 Stage 中 task 相应的信息。

task中处理数据的"Locality Level"表示数据本地化级别,决定task处理数据的位置偏好,有ANY(不特定位置)、PROCESS_LOCAL(同一JVM)、NODE_LOCAL(同一节点)、RACK_LOCAL(同一机架)级别。
七、Storage持久化页面
当我们对RDD数据进行持久化时,可以在Storage页面中查看到RDD持久化的信息。在SparkShell中创建rdd并进行持久化,一定要使用action算子进行触发。
bash
#node5节点spark shell执行如下
scala> val rdd = sc.textFile("hdfs://mycluster/sparkdata/words.txt")
scala> rdd.cache()
scala> rdd.count()

如果程序中不使用某个RDD持久化数据,还可以及时的使用rdd.unpersist()删除持久化数据。
八、总结
- Master WebUI(8080 端口):集群总入口,用于查看 Master、Worker 节点以及 Application 的整体分布,是排查集群资源与作业提交情况的第一站。
- Worker WebUI(8081 端口):查看单个 Worker 节点上运行的 Executor 及其资源占用,适合定位节点级别的资源不足或 Executor 异常退出。
- Application 与 Executor 页面:从 Master 页面点击 Application ID 或 Name 进入,用于确认作业申请到的 Executor 数量、内存与核数分配是否合理。
- Jobs 与 Stage 页面:逐层下钻到 Job、Stage 和 Task,结合并行度、Shuffle 读写量与 Locality Level 判断数据倾斜、并行度不足等性能问题。
- Storage 持久化页面 :查看 RDD 的缓存比例与占用内存,配合
cache()、persist()和unpersist()验证持久化策略是否生效。
- 📢博客主页:https://lansonli.blog.csdn.net
- 📢欢迎点赞 👍 收藏 ⭐留言 📝 如有错误敬请指正!
- 📢本文由 Lansonli 原创,首发于 CSDN博客🙉
- 📢停下休息的时候不要忘了别人还在奔跑,希望大家抓紧时间学习,全力奔赴更美好的生活✨