Spark 之 HistoryServer and FsHistoryProvider

HistoryServer

a inner join with one empty side and one large side, the plan would finish and the large side is still running.

Spark HistoryServer 3.4 以后修复了这个问题

JsonProtocol

JsonProtocol 类为 HistoryServer 提供解析 eventLog 的基本工具类库。

other 选项为其提供了 基本反射功能,可以解决各类 event 事件

FsHistoryProvider

复制代码
  override def start(): Unit = {
    initThread = initialize()
  }

  private[history] def initialize(): Thread = {
    if (!isFsInSafeMode()) {
      startPolling()
      null
    } else {
      startSafeModeCheckThread(None)
    }
  }
相关推荐
AI源码16 小时前
基于Spark的期刊推荐系统的设计与实现
大数据·分布式·spark
starzy19905 天前
Structured Streaming 结构化流概述:把流数据当作一张无限增长的表
大数据·spark
Lansonli7 天前
大数据Spark(八十八):Spark任务资源之Standalone集群测试
java·服务器·spark
Lansonli9 天前
大数据Spark(八十七):Spark-Submit 参数详解
大数据·分布式·spark
阿里云大数据AI技术14 天前
EMR Serverless Ray:让 AI 推理融入数据处理
人工智能·spark
freejackman19 天前
【架构篇】双遍历 + 多栈协同:手撸 SQL 血缘引擎的架构思考
java·大数据·数据库·hive·sql·架构·spark
陈年老古董19 天前
Spark 3.1.3 集群搭建 + Spark-SQL 整合 Hive 记录
hive·sql·spark
乌恩大侠19 天前
「AI-RAN」Aerial,使用ORAN C1模式
人工智能·5g·spark·o-ru·ai-ran
测试盐20 天前
spark作业日志定位过程
java·hadoop·spark