Flink 添加 / 部署 Jar 包的若干注意事项

Flink 添加 / 部署 Jar 包可根据 Jar 包的声明周期、作用范围选择不同的附属方式,从实际应用上来看,可以分成以下几种场景:

  1. 普遍使用的框架或基础设施级别的 Jar 包,例如 Kafka、Hive、Hudi 等 Connector 的Jar 包,应该部署到 ${FLINK_HOME}/lib 目录下,这样所有应用均可使用。但要记住:这需要重启应用或启动新的 Yarn Session 才会生效
  2. 使用 Flink SQL Client 时,如果 Jar 包已经部署到 ${FLINK_HOME}/lib 目录下,是会被自动加载的,但同样要启动新的 Yarn Session 才会生效!如果是临时性的 Jar 包,或者是应用/Session级别特定的 Jar 包,不适合启动任何程序都要加载,则可以通过 -j 1.jar -j 2.jar 的形式,在启动 SQL Client 时加载
  3. 当然,使用 ADD JAR '/path/hello.jar'; 同样也是一个不错的选择!
相关推荐
潘达斯奈基~8 小时前
Google AI Studio使用1:创建Flink测试题APP
大数据·flink·aigc
xiao-xiang9 小时前
k8s下的发布策略详解
云原生·容器·kubernetes·部署·cicd·发布
jiedaodezhuti13 小时前
Flink on YARN 实战问题排查指南(精华版)
大数据·flink
Hello.Reader19 小时前
Apache Flink 从流处理基础到恰好一次语义
flink·apache·linq
天翼云开发者社区1 天前
Flink 与Flink可视化平台StreamPark教程(CDC功能)
大数据·flink
Apache Flink3 天前
Flink Agents:基于Apache Flink的事件驱动AI智能体框架
人工智能·flink·apache
索迪迈科技3 天前
Flink Task线程处理模型:Mailbox
java·大数据·开发语言·数据结构·算法·flink
jiedaodezhuti3 天前
Flink通讯超时问题深度解析:Akka AskTimeoutException解决方案
大数据·flink
阿里云大数据AI技术3 天前
Lazada 如何用实时计算 Flink + Hologres 构建实时商品选品平台
flink