Spark 之 HistoryServer and FsHistoryProvider

HistoryServer

a inner join with one empty side and one large side, the plan would finish and the large side is still running.

Spark HistoryServer 3.4 以后修复了这个问题

JsonProtocol

JsonProtocol 类为 HistoryServer 提供解析 eventLog 的基本工具类库。

other 选项为其提供了 基本反射功能,可以解决各类 event 事件

FsHistoryProvider

  override def start(): Unit = {
    initThread = initialize()
  }

  private[history] def initialize(): Thread = {
    if (!isFsInSafeMode()) {
      startPolling()
      null
    } else {
      startSafeModeCheckThread(None)
    }
  }
相关推荐
zmd-zk1 小时前
[spark面试]spark与mapreduce的区别---在DAG方面
大数据·分布式·面试·spark·mapreduce
B站计算机毕业设计超人2 小时前
计算机毕业设计Hadoop+PySpark深度学习游戏推荐系统 游戏可视化 游戏数据分析 游戏爬虫 Scrapy 机器学习 人工智能 大数据毕设
大数据·人工智能·爬虫·spark·课程设计·数据可视化·推荐算法
python资深爱好者4 小时前
Flink和Spark在实时计算方面有何异同
大数据·flink·spark
天冬忘忧1 天前
Spark 的介绍与搭建:从理论到实践
大数据·分布式·spark
Rverdoser1 天前
Kubernetes运行大数据组件-运行spark
大数据·spark·kubernetes
GDDGHS_1 天前
Spark中的宽窄依赖-宽窄巷子
大数据·分布式·spark
songqq271 天前
Spark中的宽窄依赖
大数据·分布式·spark
lzhlizihang1 天前
【RDD算子的分类】RDD的转换算子和触发算子(行为算子)、以及各个算子的作用,对比sql中的关键字
spark·转换算子·rdd·rdd算子·触发算子
floret*1 天前
sparkSQL面试题
python·sql·spark