Flink 添加 / 部署 Jar 包的若干注意事项

Flink 添加 / 部署 Jar 包可根据 Jar 包的声明周期、作用范围选择不同的附属方式,从实际应用上来看,可以分成以下几种场景:

  1. 普遍使用的框架或基础设施级别的 Jar 包,例如 Kafka、Hive、Hudi 等 Connector 的Jar 包,应该部署到 ${FLINK_HOME}/lib 目录下,这样所有应用均可使用。但要记住:这需要重启应用或启动新的 Yarn Session 才会生效
  2. 使用 Flink SQL Client 时,如果 Jar 包已经部署到 ${FLINK_HOME}/lib 目录下,是会被自动加载的,但同样要启动新的 Yarn Session 才会生效!如果是临时性的 Jar 包,或者是应用/Session级别特定的 Jar 包,不适合启动任何程序都要加载,则可以通过 -j 1.jar -j 2.jar 的形式,在启动 SQL Client 时加载
  3. 当然,使用 ADD JAR '/path/hello.jar'; 同样也是一个不错的选择!
相关推荐
livemetee2 小时前
Flink2.0学习笔记:使用HikariCP 自定义sink实现数据库连接池化
大数据·数据库·笔记·学习·flink
我是廖志伟1 天前
【jar包启动,每天生成一个日志文件】
java·jar
程序员不迷路2 天前
Flink学习
大数据·flink
IT果果日记2 天前
flink+dolphinscheduler+dinky打造自动化数仓平台
大数据·后端·flink
君不见,青丝成雪3 天前
Flink双流join
大数据·数据仓库·flink
诗句藏于尽头3 天前
更改jar素材后打包
java·jar
更深兼春远3 天前
flink+clinkhouse安装部署
大数据·clickhouse·flink
最初的↘那颗心4 天前
Flink Stream API 源码走读 - print()
java·大数据·hadoop·flink·实时计算
JH30734 天前
Maven的三种项目打包方式——pom,jar,war的区别
java·maven·jar
最初的↘那颗心4 天前
Flink Stream API - 源码开发需求描述
java·大数据·hadoop·flink·实时计算