9.Dispatcher 启动流程解析

Dispatcher 启动流程解析（DefaultDispatcherRunner / LeaderProcess）

本文聚焦 Session 集群下 Dispatcher 的启动链路：从 Entrypoint 侧创建 DispatcherRunner，到参与 HA 选举成为 leader，再到 leader process 内部完成作业恢复并拉起真正的 Dispatcher（DispatcherGateway 对外可用）。

0. 主题：Dispatcher 做什么？外部请求怎么进来？

这篇文章主要回答"Dispatcher 是怎么被启动起来的"。但在读启动流程之前，先把职责边界说清楚：

Dispatcher（org.apache.flink.runtime.dispatcher.Dispatcher）是 JobManager 侧的"作业调度/提交中枢"：对外提供 DispatcherGateway，接收作业提交/触发执行，并编排 JobMaster 生命周期。
外部用户的入口通常不是直接调用 Dispatcher，而是通过 Web REST（也常被口语化叫 webRestEndpoint）：org.apache.flink.runtime.webmonitor.WebMonitorEndpoint 提供 HTTP/REST API（例如上传 jar、提交 jar 运行等）。
WebMonitorEndpoint 收到请求后会通过 dispatcherGatewayRetriever 连接到当前 leader 的 DispatcherGateway，再把"提交 jar / 提交作业"等动作转交给 Dispatcher 执行。

1. 核心组件职责（先把边界讲清楚）

org.apache.flink.runtime.entrypoint.component.DefaultDispatcherResourceManagerComponentFactory：在集群启动阶段组装并启动 Dispatcher/RM/Web 相关组件，包含"创建 DispatcherRunner 并接入 HA 选举"的关键一步。
org.apache.flink.runtime.webmonitor.WebMonitorEndpoint：对外提供 REST API（接收 jar 上传/作业提交等），并通过 gateway retriever 把请求转发到当前 leader 的 DispatcherGateway。
org.apache.flink.runtime.dispatcher.runner.DispatcherRunnerFactory：工厂抽象，负责把"HA 的 LeaderElection + Dispatcher 所需依赖"拼成可运行的 DispatcherRunner。
org.apache.flink.runtime.dispatcher.runner.DefaultDispatcherRunner：DispatcherRunner 的默认实现，同时是 LeaderContender；负责对接 LeaderElection，在 grant/revoke leadership 时启动/停止 DispatcherLeaderProcess。
org.apache.flink.runtime.dispatcher.runner.DispatcherLeaderProcess：一次 leader 任期内的 Dispatcher 生命周期"进程"，承载恢复逻辑与 Dispatcher 创建/关闭。
org.apache.flink.runtime.dispatcher.runner.AbstractDispatcherLeaderProcess：LeaderProcess 的通用基类，把 "DispatcherGateway 何时可用 / leaderAddress 如何产生 / 终止与 shutdown 如何传递"收敛成一套 Future 与状态机。
org.apache.flink.runtime.dispatcher.runner.SessionDispatcherLeaderProcess：Session 模式下的 leader process：启动 JobGraphStore，恢复历史 jobGraphs/dirty jobResults，并创建 Dispatcher。

2. 启动入口：ComponentFactory 创建 DispatcherRunner

DispatcherRunner 的创建发生在 DefaultDispatcherResourceManagerComponentFactory#create 过程中；它把 HA 提供的 DispatcherLeaderElection 注入进去，从而把 Dispatcher 的生命周期绑定到 leader 任期。

路径：<flink-runtime/src/main/java/org/apache/flink/runtime/entrypoint/component/DefaultDispatcherResourceManagerComponentFactory.java>

FQCN：org.apache.flink.runtime.entrypoint.component.DefaultDispatcherResourceManagerComponentFactory#create

java 复制代码

dispatcherRunner =
        dispatcherRunnerFactory.createDispatcherRunner(
                highAvailabilityServices.getDispatcherLeaderElection(),
                fatalErrorHandler,
                new HaServicesJobPersistenceComponentFactory(highAvailabilityServices),
                ioExecutor,
                rpcService,
                partialDispatcherServices);

highAvailabilityServices.getDispatcherLeaderElection()：把 HA 层的选举句柄交给 DispatcherRunner；后续是否真正启动 Dispatcher，取决于是否被授予 leadership。
HaServicesJobPersistenceComponentFactory(highAvailabilityServices)：把"JobGraph/JobResult 持久化相关组件"的创建能力注入到 leader process（恢复逻辑依赖它）。
rpcService/partialDispatcherServices/ioExecutor：为后续创建 Dispatcher RPC Endpoint、异步恢复等提供地基能力。

3. RunnerFactory：构造 LeaderProcessFactory 并创建 DefaultDispatcherRunner

DefaultDispatcherRunnerFactory 的职责是把"如何创建某种 DispatcherLeaderProcess"的策略（Session / Per-Job）封装为 DispatcherLeaderProcessFactory，再交给 DefaultDispatcherRunner 管理。

路径：<flink-runtime/src/main/java/org/apache/flink/runtime/dispatcher/runner/DefaultDispatcherRunnerFactory.java>

FQCN：org.apache.flink.runtime.dispatcher.runner.DefaultDispatcherRunnerFactory#createDispatcherRunner

java 复制代码

@Override
public DispatcherRunner createDispatcherRunner(
        LeaderElection leaderElection,
        FatalErrorHandler fatalErrorHandler,
        JobPersistenceComponentFactory jobPersistenceComponentFactory,
        Executor ioExecutor,
        RpcService rpcService,
        PartialDispatcherServices partialDispatcherServices)
        throws Exception {

    final DispatcherLeaderProcessFactory dispatcherLeaderProcessFactory =
            dispatcherLeaderProcessFactoryFactory.createFactory(
                    jobPersistenceComponentFactory,
                    ioExecutor,
                    rpcService,
                    partialDispatcherServices,
                    fatalErrorHandler);

    return DefaultDispatcherRunner.create(
            leaderElection, fatalErrorHandler, dispatcherLeaderProcessFactory);
}

dispatcherLeaderProcessFactoryFactory.createFactory(...)：把"恢复所需的存储（JobGraphStore/JobResultStore）+ Dispatcher 创建所需依赖"封装成一个可反复创建 leader process 的工厂。
DefaultDispatcherRunner.create(...)：真正把 runner 启动起来（内部会 startLeaderElection）。

4. DefaultDispatcherRunner：leader 任期驱动的"单实例 Dispatcher 管理器"

核心点：DefaultDispatcherRunner 是 LeaderContender，对 LeaderElection 来说它就是参与选举并接收回调的业务方；一旦 grant leadership，就创建一个新的 DispatcherLeaderProcess 并启动；revoke leadership 就停止当前 leader process。