Spark的Web界面

在顶部导航栏上,可以点击以下选项来查看不同类型的Spark应用信息:

  1. Jobs - 此视图将列出所有已提交的作业,并提供每个作业的详细信息,如作业ID、名称、开始时间、结束时间等。
  2. Stages - 此视图可以查看作业分解成的不同阶段,包括每个阶段的任务数、当前状态等。
  3. Storage - 此视图展示了数据如何在RDDs(弹性分布式数据集)之间进行分层存储,以及它们的缓存状态。
  4. Environment - 此视图列出了与Spark应用程序相关的环境变量和配置参数。
  5. Executors - 此视图提供了关于执行器的详细信息,包括内存使用情况、磁盘使用情况、任务统计等。

Apache Spark UI中的"Executors"页面,该页面提供了关于Spark应用程序中执行器的详细信息。执行器是Spark应用程序中负责执行任务的进程。以下是页面上各部分的介绍:

Summary

  • RDD Blocks: 当前存储在执行器上的RDD块数量。
  • Storage Memory: 执行器上用于存储的内存总量,以及当前已使用的存储内存。
  • Disk Used: 执行器上用于存储的磁盘空间总量,以及当前已使用的磁盘空间。
  • Cores: 执行器上可用的CPU核心数。
  • Active Tasks: 当前正在执行的任务数量。
  • Failed Tasks: 已经失败的任务数量。
  • Complete Tasks: 已经完成的任务数量。
  • Total Tasks: 执行器上总共处理的任务数量。
  • Task Time (GC Time): 执行器上所有任务的总执行时间,以及其中的垃圾回收时间。
  • Input: 任务处理的输入数据量。
  • Shuffle Read: 任务执行期间从其他执行器读取的shuffle数据量。
  • Shuffle Write: 任务执行期间写入的shuffle数据量。
  • Excluded: 被排除的执行器数量。

Executors

  • Executor ID: 执行器的唯一标识符。
  • Address: 执行器的网络地址。
  • Status: 执行器的状态,如Active(活跃)或Dead(已死)。
  • RDD Blocks: 执行器上存储的RDD块数量。
  • Storage Memory: 执行器上用于存储的内存总量,以及当前已使用的存储内存。
  • Disk Used: 执行器上用于存储的磁盘空间总量,以及当前已使用的磁盘空间。
  • Cores: 执行器上可用的CPU核心数。
  • Active Tasks: 当前正在执行的任务数量。
  • Failed Tasks: 已经失败的任务数量。
  • Complete Tasks: 已经完成的任务数量。
  • Total Tasks: 执行器上总共处理的任务数量。
  • Task Time (GC Time): 执行器上所有任务的总执行时间,以及其中的垃圾回收时间。
  • Input: 任务处理的输入数据量。
  • Shuffle Read : 任务执行期间从其他执行器读取的shuffle数据量。
  • Shuffle Write: 任务执行期间写入的shuffle数据量。
  • Thread Dump: 提供执行器的线程转储链接。
  • Heap Histogram: 提供执行器的堆内存使用情况的直方图链接。
  • Add Time: 执行器被添加到集群的时间。
  • Remove Time: 执行器从集群中移除的时间。

这个页面对于监控和调试Spark应用程序非常有用,因为它提供了关于执行器资源使用情况、任务状态和性能的详细信息。

相关推荐
Lansonli1 天前
大数据Spark(六十七):Transformation转换算子distinct和mapValues
大数据·分布式·spark
weixin_525936332 天前
金融大数据处理与分析
hadoop·python·hdfs·金融·数据分析·spark·matplotlib
geilip2 天前
知识体系_scala_利用scala和spark构建数据应用
开发语言·spark·scala
孟意昶2 天前
Spark专题-第三部分:性能监控与实战优化(3)-数据倾斜优化
大数据·分布式·sql·spark
Lansonli2 天前
大数据Spark(六十六):Transformation转换算子sample、sortBy和sortByKey
大数据·分布式·spark
IT毕设梦工厂3 天前
大数据毕业设计选题推荐-基于大数据的人口普查收入数据分析与可视化系统-Hadoop-Spark-数据可视化-BigData
大数据·hadoop·数据分析·spark·毕业设计·源码·bigdata
计算机源码社3 天前
基于Hadoop的车辆二氧化碳排放量分析与可视化系统|基于Spark的车辆排放量实时监控与预测系统|基于数据挖掘的汽车排放源识别与减排策略系统
大数据·hadoop·机器学习·数据挖掘·spark·毕业设计·课程设计
励志成为糕手4 天前
Spark Shuffle:分布式计算的数据重分布艺术
大数据·分布式·spark·性能调优·数据倾斜
DashingGuy4 天前
Spark的Broadcast Join以及其它的Join策略
大数据·spark
计算机编程小央姐4 天前
大数据工程师认证项目:汽车之家数据分析系统,Hadoop分布式存储+Spark计算引擎
大数据·hadoop·分布式·数据分析·spark·汽车·课程设计