Flink 添加 / 部署 Jar 包的若干注意事项

Flink 添加 / 部署 Jar 包可根据 Jar 包的声明周期、作用范围选择不同的附属方式,从实际应用上来看,可以分成以下几种场景:

  1. 普遍使用的框架或基础设施级别的 Jar 包,例如 Kafka、Hive、Hudi 等 Connector 的Jar 包,应该部署到 ${FLINK_HOME}/lib 目录下,这样所有应用均可使用。但要记住:这需要重启应用或启动新的 Yarn Session 才会生效
  2. 使用 Flink SQL Client 时,如果 Jar 包已经部署到 ${FLINK_HOME}/lib 目录下,是会被自动加载的,但同样要启动新的 Yarn Session 才会生效!如果是临时性的 Jar 包,或者是应用/Session级别特定的 Jar 包,不适合启动任何程序都要加载,则可以通过 -j 1.jar -j 2.jar 的形式,在启动 SQL Client 时加载
  3. 当然,使用 ADD JAR '/path/hello.jar'; 同样也是一个不错的选择!
相关推荐
张国荣家的弟弟5 小时前
【Yonghong 企业日常问题 06】上传的文件不在白名单,修改allow.jar.digest属性添加允许上传的文件SH256值?
java·jar·bi
道一云黑板报7 小时前
Flink集群批作业实践:七析BI批作业执行
大数据·分布式·数据分析·flink·kubernetes
darkdragonking7 小时前
OpenEuler 22.03 安装 flink-1.17.2 集群
flink·openeuler
core5127 小时前
flink sink kafka
flink·kafka·sink
节点。csn7 小时前
flink集群搭建 详细教程
大数据·服务器·flink
goTsHgo7 小时前
Flink 的并行度配置低于Kafka 分区数会出现的问题
flink
Ekine14 小时前
【Flink-scala】DataSet编程模型介绍及数据源
人工智能·flink·scala
张伯毅14 小时前
Flink SQL 支持 kafka 开启 kerberos 权限控制.
sql·flink·kafka
大圣数据星球21 小时前
Fluss 写入数据湖实战
大数据·设计模式·flink
lucky_syq1 天前
Saprk和Flink的区别
大数据·flink