大数据Spark(九十二):Spark WebUI介绍

文章目录

[Spark WebUI介绍](#Spark WebUI介绍)

[一、Spark Master WebUI](#一、Spark Master WebUI)

[二、Spark Worker WebUI](#二、Spark Worker WebUI)

三、查看Application使用Executor情况

四、Application详细页面

五、Jobs详细页面

六、Stage详细页面

七、Storage持久化页面

八、总结


Spark WebUI介绍

本文面向正在使用或准备使用 Spark 的开发者与运维人员,尤其是需要通过 WebUI 快速定位作业运行状态、排查性能瓶颈的读者。全文依次介绍 Spark 的 7 个常用 WebUI 页面:Master WebUI、Worker WebUI、Application 使用 Executor 情况、Application 详细页面、Jobs 详细页面、Stage 详细页面和 Storage 持久化页面。建议按章节顺序阅读,先了解集群整体状态,再逐层深入到 Job、Stage 与 Task 级别,最后结合 Storage 页面确认 RDD 的持久化情况。

一、Spark Master WebUI

浏览器输入http://masterhost:8080,进入Master WebUI,Master默认的WebUI端口为8080。

二、Spark Worker WebUI

点击Worker相应的Id可以进入到Worker WebUI。Worker默认的WebUI端口为8081,也可以直接浏览器输入http://workerhost:8081,进入Worker WebUI。

三、查看Application使用Executor情况

在 Master WebUI 中点击"Application ID"查看当前 Application 使用 Executor 情况。

四、Application详细页面

在 Master WebUI 中点击"Name"查看当前 Application 运行详细情况。

五、Jobs详细页面

在 Application 详细页面,点击"Job Id"进入 Stage 信息。当前 Spark Shell WordCount 任务中每个 Stage 并行度为 2,Job 共运行 4 个 task。并行度为 2 的原因是由 textFile 读取文件的并行度决定的,具体如下:

Scala 复制代码
def textFile(
    path: String,
    minPartitions: Int = defaultMinPartitions): RDD[String] = ...

def defaultMinPartitions: Int = math.min(defaultParallelism, 2)

其中 defaultMinPartitions 默认值由"spark.default.parallelism"参数决定,该参数的值在 local 模式中为本地机器的 core 数,如果代码中设置为 local=local1,表示 1 个并行度;在 Mesos 模式中为 8;在其他模式中是所有 Executor 节点上的 core 数与 2 取较大值。

六、Stage详细页面

在 Job 详情页面中,点击任意的"Stage Id"进入 Stage 详细页面,页面中显示 Stage 中 task 相应的信息。

task中处理数据的"Locality Level"表示数据本地化级别,决定task处理数据的位置偏好,有ANY(不特定位置)、PROCESS_LOCAL(同一JVM)、NODE_LOCAL(同一节点)、RACK_LOCAL(同一机架)级别。

七、Storage持久化页面

当我们对RDD数据进行持久化时,可以在Storage页面中查看到RDD持久化的信息。在SparkShell中创建rdd并进行持久化,一定要使用action算子进行触发。

bash 复制代码
#node5节点spark shell执行如下
scala> val rdd = sc.textFile("hdfs://mycluster/sparkdata/words.txt")
scala> rdd.cache()
scala> rdd.count()

如果程序中不使用某个RDD持久化数据,还可以及时的使用rdd.unpersist()删除持久化数据。

八、总结

  • Master WebUI(8080 端口):集群总入口,用于查看 Master、Worker 节点以及 Application 的整体分布,是排查集群资源与作业提交情况的第一站。
  • Worker WebUI(8081 端口):查看单个 Worker 节点上运行的 Executor 及其资源占用,适合定位节点级别的资源不足或 Executor 异常退出。
  • Application 与 Executor 页面:从 Master 页面点击 Application ID 或 Name 进入,用于确认作业申请到的 Executor 数量、内存与核数分配是否合理。
  • Jobs 与 Stage 页面:逐层下钻到 Job、Stage 和 Task,结合并行度、Shuffle 读写量与 Locality Level 判断数据倾斜、并行度不足等性能问题。
  • Storage 持久化页面 :查看 RDD 的缓存比例与占用内存,配合 cache()、persist() 和 unpersist() 验证持久化策略是否生效。

  • 📢博客主页:https://lansonli.blog.csdn.net
  • 📢欢迎点赞 👍 收藏 ⭐留言 📝 如有错误敬请指正!
  • 📢本文由 Lansonli 原创,首发于 CSDN博客🙉
  • 📢停下休息的时候不要忘了别人还在奔跑,希望大家抓紧时间学习,全力奔赴更美好的生活✨
相关推荐
AI_Auto2 小时前
数字化转型工作手册⑨|干什么①:数字化转型能拿到哪三类价值效益?
大数据·架构·制造
注塑机数据采集联网3 小时前
注塑机智能数据采集联网网关 ZK-D1/D3 如何读取力劲注塑机控制器数据并对接 MES/IOT 平台
大数据·网络·物联网·数据挖掘·注塑机网关
bksczm18 小时前
Redis Cluster 分片集群详解:槽路由、故障判定与扩缩容
数据库·redis·分布式
txxzjmzlh19 小时前
RabbitMQ安装
分布式·rabbitmq
黑十20 小时前
FDE 怎么快速搭一个可演示页面?最小前端方案
java·大数据·前端·数据库·人工智能
Databend20 小时前
OpenRaft 自定义 Membership,按部署拓扑选择 Quorum
大数据·数据库·数据分析
Databend21 小时前
用 SQL 排查支付故障,OpenTelemetry 接入 Databend Cloud 实战
大数据·数据库·sql
上海潭龙东海科技有限公司21 小时前
智慧堆场动态模型三维实时孪生重构智能管控
大数据·网络·数据库·算法·重构
尹文祥1 天前
Apache Doris 2.1.10:存储结构、索引与查询优化详解
大数据