Flink 添加 / 部署 Jar 包的若干注意事项

Flink 添加 / 部署 Jar 包可根据 Jar 包的声明周期、作用范围选择不同的附属方式,从实际应用上来看,可以分成以下几种场景:

  1. 普遍使用的框架或基础设施级别的 Jar 包,例如 Kafka、Hive、Hudi 等 Connector 的Jar 包,应该部署到 ${FLINK_HOME}/lib 目录下,这样所有应用均可使用。但要记住:这需要重启应用或启动新的 Yarn Session 才会生效
  2. 使用 Flink SQL Client 时,如果 Jar 包已经部署到 ${FLINK_HOME}/lib 目录下,是会被自动加载的,但同样要启动新的 Yarn Session 才会生效!如果是临时性的 Jar 包,或者是应用/Session级别特定的 Jar 包,不适合启动任何程序都要加载,则可以通过 -j 1.jar -j 2.jar 的形式,在启动 SQL Client 时加载
  3. 当然,使用 ADD JAR '/path/hello.jar'; 同样也是一个不错的选择!
相关推荐
岁岁种桃花儿16 小时前
Flink从入门到上天系列第五篇:Flink集群化部署模式
大数据·flink
Hello.Reader1 天前
Flink Python REPL(pyflink-shell)实战:本地/远程/YARN 三种启动方式 + Table API 交互开发流程
python·flink·交互
Hello.Reader1 天前
Flink SSL/TLS 安全加固内网 mTLS、REST HTTPS、证书 Pinning 与部署要点
安全·flink·ssl
Hello.Reader1 天前
Flink Kerberos 安全接入整体机制、三大安全模块、Standalone/K8s/YARN 部署与 Token 续期策略
安全·flink·kubernetes
Dovis(誓平步青云)1 天前
《MySQL 事务深度解析:从 ACID 到实战,守住数据一致性的最后防线》
数据库·mysql·flink·etcd·功能详解
e***8902 天前
MySQL 8.0版本JDBC驱动Jar包
数据库·mysql·jar
岁岁种桃花儿3 天前
Flink从入门到上天系列第三篇:Flink集群化部署
大数据·flink
OoxJqfQCaS3 天前
分布鲁棒;复现;电气综合能源系统;分布鲁棒机会约束(DRCC);ADMM分布式算法;全网独售...
flink
果壳~3 天前
【Java】使用WinSW将SpringBoot Jar包部署为Windows服务
java·spring boot·jar