Flink 添加 / 部署 Jar 包的若干注意事项

Flink 添加 / 部署 Jar 包可根据 Jar 包的声明周期、作用范围选择不同的附属方式,从实际应用上来看,可以分成以下几种场景:

  1. 普遍使用的框架或基础设施级别的 Jar 包,例如 Kafka、Hive、Hudi 等 Connector 的Jar 包,应该部署到 ${FLINK_HOME}/lib 目录下,这样所有应用均可使用。但要记住:这需要重启应用或启动新的 Yarn Session 才会生效
  2. 使用 Flink SQL Client 时,如果 Jar 包已经部署到 ${FLINK_HOME}/lib 目录下,是会被自动加载的,但同样要启动新的 Yarn Session 才会生效!如果是临时性的 Jar 包,或者是应用/Session级别特定的 Jar 包,不适合启动任何程序都要加载,则可以通过 -j 1.jar -j 2.jar 的形式,在启动 SQL Client 时加载
  3. 当然,使用 ADD JAR '/path/hello.jar'; 同样也是一个不错的选择!
相关推荐
wudl55666 小时前
flink 1.20 物化表(Materialized Tables)
大数据·flink·linq
ImproveJin20 小时前
Flink Source源码解析
大数据·flink
PONY LEE20 小时前
Flink Rebalance触发乱序的问题
大数据·flink
勇哥的编程江湖1 天前
本地搭建Flinkcdc-mysql-kafka-flink-Doris实时数据集成
大数据·flink
驾数者2 天前
Flink SQL入门指南:从零开始搭建流处理应用
大数据·sql·flink
KM_锰2 天前
flink开发遇到的问题
大数据·flink
Hello.Reader2 天前
Flink 流式计算的状态之道从 Table/SQL 语义到算子状态与 TTL 精准控制
sql·flink·linq
青云交2 天前
Java 大视界 -- 基于 Java 的大数据实时流处理在能源行业设备状态监测与故障预测中的应用
flink·lstm·设备状态监测·故障预测·实时流处理·java 大数据·能源行业
努力成为一个程序猿.2 天前
Flink集群部署以及作业提交模式详解
大数据·flink