Flink 添加 / 部署 Jar 包的若干注意事项

Flink 添加 / 部署 Jar 包可根据 Jar 包的声明周期、作用范围选择不同的附属方式,从实际应用上来看,可以分成以下几种场景:

  1. 普遍使用的框架或基础设施级别的 Jar 包,例如 Kafka、Hive、Hudi 等 Connector 的Jar 包,应该部署到 ${FLINK_HOME}/lib 目录下,这样所有应用均可使用。但要记住:这需要重启应用或启动新的 Yarn Session 才会生效
  2. 使用 Flink SQL Client 时,如果 Jar 包已经部署到 ${FLINK_HOME}/lib 目录下,是会被自动加载的,但同样要启动新的 Yarn Session 才会生效!如果是临时性的 Jar 包,或者是应用/Session级别特定的 Jar 包,不适合启动任何程序都要加载,则可以通过 -j 1.jar -j 2.jar 的形式,在启动 SQL Client 时加载
  3. 当然,使用 ADD JAR '/path/hello.jar'; 同样也是一个不错的选择!
相关推荐
Edingbrugh.南空7 小时前
Flink自定义函数
大数据·flink
expect7g13 小时前
Flink-Checkpoint-2.OperatorChain
后端·flink
诗旸的技术记录与分享18 小时前
Flink-1.19.0源码详解6-JobGraph生成-后篇
大数据·flink
昀贝1 天前
Maven项目引用本地jar涉及scope和systemPath配置
python·maven·jar
弗锐土豆2 天前
一个基于若依(ruoyi-vue3)的小项目部署记录
前端·vue.js·部署·springcloud·ruoyi·若依
爱吃土豆的马铃薯ㅤㅤㅤㅤㅤㅤㅤㅤㅤ2 天前
如何将一个本地的jar包安装到 Maven 仓库中
java·maven·jar
智海观潮2 天前
Flink CDC支持Oracle RAC架构CDB+PDB模式的实时数据同步吗,可以上生产环境吗
大数据·oracle·flink·flink cdc·数据同步
Apache Flink2 天前
Flink Forward Asia 2025 主旨演讲精彩回顾
大数据·flink
Haoea!2 天前
Flink-05学习 接上节,将FlinkJedisPoolConfig 从Kafka写入Redis
学习·flink·kafka
expect7g3 天前
Flink-Checkpoint-1.源码流程
后端·flink