Flink 添加 / 部署 Jar 包的若干注意事项

Flink 添加 / 部署 Jar 包可根据 Jar 包的声明周期、作用范围选择不同的附属方式,从实际应用上来看,可以分成以下几种场景:

  1. 普遍使用的框架或基础设施级别的 Jar 包,例如 Kafka、Hive、Hudi 等 Connector 的Jar 包,应该部署到 ${FLINK_HOME}/lib 目录下,这样所有应用均可使用。但要记住:这需要重启应用或启动新的 Yarn Session 才会生效
  2. 使用 Flink SQL Client 时,如果 Jar 包已经部署到 ${FLINK_HOME}/lib 目录下,是会被自动加载的,但同样要启动新的 Yarn Session 才会生效!如果是临时性的 Jar 包,或者是应用/Session级别特定的 Jar 包,不适合启动任何程序都要加载,则可以通过 -j 1.jar -j 2.jar 的形式,在启动 SQL Client 时加载
  3. 当然,使用 ADD JAR '/path/hello.jar'; 同样也是一个不错的选择!
相关推荐
Apache Flink2 小时前
Apache Flink 2.1.0: 面向实时 Data + AI 全面升级,开启智能流处理新纪元
人工智能·flink·apache
胡西风_foxww1 天前
Vue2 项目实现 Gzip 压缩全攻略:从配置到部署避坑指南
nginx·部署·vue2·配置·gzip·压缩·攻略
Flink_China2 天前
Apache Flink 2.1.0: 面向实时 Data + AI 全面升级,开启智能流处理新纪元
大数据·flink
哈哈很哈哈2 天前
深入解析 Apache Flink FLIP-511:优化 Kafka Sink 事务处理,减轻 Broker 负载
大数据·flink·kafka
哈哈很哈哈2 天前
Flink pushGateway监控
大数据·flink
java叶新东老师4 天前
docker in docker - 在docker容器中使用宿主机的docker
linux·运维·flink
LiRuiJie5 天前
基于Hadoop3.3.4+Flink1.17.0+FlinkCDC3.0.0+Iceberg1.5.0整合,实现数仓实时同步mysql数据
大数据·hadoop·flink·iceberg·flinkcdc
WAZYY06195 天前
处理jdk21版本及No such algorithm: SM4/ECB/PKCS5Padding jar包冲突问题
java·jar·jdk21·sm4
java叶新东老师6 天前
git stash 命令详解
linux·运维·flink
java叶新东老师6 天前
linux 部署 flink 1.15.1 并提交作业
linux·运维·flink