Flink 添加 / 部署 Jar 包的若干注意事项

Flink 添加 / 部署 Jar 包可根据 Jar 包的声明周期、作用范围选择不同的附属方式,从实际应用上来看,可以分成以下几种场景:

  1. 普遍使用的框架或基础设施级别的 Jar 包,例如 Kafka、Hive、Hudi 等 Connector 的Jar 包,应该部署到 ${FLINK_HOME}/lib 目录下,这样所有应用均可使用。但要记住:这需要重启应用或启动新的 Yarn Session 才会生效
  2. 使用 Flink SQL Client 时,如果 Jar 包已经部署到 ${FLINK_HOME}/lib 目录下,是会被自动加载的,但同样要启动新的 Yarn Session 才会生效!如果是临时性的 Jar 包,或者是应用/Session级别特定的 Jar 包,不适合启动任何程序都要加载,则可以通过 -j 1.jar -j 2.jar 的形式,在启动 SQL Client 时加载
  3. 当然,使用 ADD JAR '/path/hello.jar'; 同样也是一个不错的选择!
相关推荐
l***O52012 小时前
大数据实时处理:Flink流处理
大数据·flink
程序猿小白日记19 小时前
5G技术:推动智能制造和工业互联网革命的核心动力
flink
Hello.Reader1 天前
从 CDC 到实时数据流Flink SQLServer CDC Connector 实战
大数据·sqlserver·flink
TG:@yunlaoda360 云老大1 天前
谷歌云Flink 核心组成及生态发展:实时数据处理的下一代引擎
大数据·flink·googlecloud
悟空码字1 天前
部署Spring Boot项目到Linux服务器数据盘
linux·spring boot·部署·数据盘
Ctrl+S 之后1 天前
新型多模态交互系统如何推动未来沉浸式数字体验全面进化的技术革新路线解析
flink
Hello.Reader2 天前
使用 Flink CDC Elasticsearch Pipeline Connector 打通 MySQL 与 Elasticsearch 的实时链路
mysql·elasticsearch·flink
Hello.Reader2 天前
Streaming ELT with Flink CDC · OceanBase Sink
adb·flink·oceanbase
ITVV2 天前
计算引擎 Flink 1.19.3
大数据·flink
小杨互联网2 天前
JAR逆向工程实战对比:传统工具 vs 自动化解决方案
运维·自动化·jar·jar自动逆向工具·jar逆向源码