Flink 添加 / 部署 Jar 包的若干注意事项

Flink 添加 / 部署 Jar 包可根据 Jar 包的声明周期、作用范围选择不同的附属方式,从实际应用上来看,可以分成以下几种场景:

  1. 普遍使用的框架或基础设施级别的 Jar 包,例如 Kafka、Hive、Hudi 等 Connector 的Jar 包,应该部署到 ${FLINK_HOME}/lib 目录下,这样所有应用均可使用。但要记住:这需要重启应用或启动新的 Yarn Session 才会生效
  2. 使用 Flink SQL Client 时,如果 Jar 包已经部署到 ${FLINK_HOME}/lib 目录下,是会被自动加载的,但同样要启动新的 Yarn Session 才会生效!如果是临时性的 Jar 包,或者是应用/Session级别特定的 Jar 包,不适合启动任何程序都要加载,则可以通过 -j 1.jar -j 2.jar 的形式,在启动 SQL Client 时加载
  3. 当然,使用 ADD JAR '/path/hello.jar'; 同样也是一个不错的选择!
相关推荐
黄雪超12 小时前
DataStreamAPI实践原理——快速上手(实操详细版)
大数据·flink·scala
Flink_China12 小时前
Fluss 实战:用 Partial Update 构建实时宽表的新范式
大数据·flink
张伯毅1 天前
Flink 失败重试策略 :restart-strategy.type
大数据·flink·策略模式
TDengine (老段)2 天前
TDengine 高级功能——流计算
大数据·物联网·flink·linq·时序数据库·tdengine·涛思数据
ross2 天前
更新已打包好的 Spring Boot JAR 文件中的 class 文件
spring boot·后端·jar
风行無痕2 天前
ubuntu系统上运行jar程序输出时间时区不对
spring boot·后端·jar
Linda L3 天前
Flink CDC将MySQL数据同步到数据湖
大数据·数据库·分布式·mysql·flink·kafka
北漂老男孩5 天前
Flink SQL 编程详解:从入门到实战难题与解决方案
大数据·sql·flink
小于村5 天前
pom.xml 文件中配置你项目中的外部 jar 包打包方式
xml·java·jar