Flink 添加 / 部署 Jar 包的若干注意事项

Flink 添加 / 部署 Jar 包可根据 Jar 包的声明周期、作用范围选择不同的附属方式,从实际应用上来看,可以分成以下几种场景:

  1. 普遍使用的框架或基础设施级别的 Jar 包,例如 Kafka、Hive、Hudi 等 Connector 的Jar 包,应该部署到 ${FLINK_HOME}/lib 目录下,这样所有应用均可使用。但要记住:这需要重启应用或启动新的 Yarn Session 才会生效
  2. 使用 Flink SQL Client 时,如果 Jar 包已经部署到 ${FLINK_HOME}/lib 目录下,是会被自动加载的,但同样要启动新的 Yarn Session 才会生效!如果是临时性的 Jar 包,或者是应用/Session级别特定的 Jar 包,不适合启动任何程序都要加载,则可以通过 -j 1.jar -j 2.jar 的形式,在启动 SQL Client 时加载
  3. 当然,使用 ADD JAR '/path/hello.jar'; 同样也是一个不错的选择!
相关推荐
Jackeyzhe7 小时前
Flink源码阅读:JobManager的HA机制
flink
潘达斯奈基~9 小时前
万字详解Flink基础知识
大数据·flink
老龄程序员12 小时前
Dinky整库同步方案CDCSOURCE同步数据到mysql
flink
驾数者13 小时前
Flink SQL容错机制:Checkpoint与Savepoint实战解析
大数据·sql·flink
Hello.Reader17 小时前
Flink Avro Format Java / PyFlink 读写、Schema 细节与坑点总结
java·python·flink
Hello.Reader18 小时前
Flink Source/Sink 的 Exactly-Once、At-Least-Once 到底意味着什么?
大数据·flink
magic_kid_20101 天前
Flink on YARN 依赖/JAR 包问题排查指南
flink·jar·包冲突
阿华田5121 天前
flin实战 -- 核心参数解析
大数据·flink·flink调优
俊哥大数据1 天前
【项目10】基于Flink房地产领域大数据实时分析系统
大数据·flink
Hello.Reader1 天前
Flink CEP Pattern API、连续性、跳过策略、超时与迟到数据一篇讲透
大数据·flink