Flink 添加 / 部署 Jar 包的若干注意事项

Flink 添加 / 部署 Jar 包可根据 Jar 包的声明周期、作用范围选择不同的附属方式,从实际应用上来看,可以分成以下几种场景:

  1. 普遍使用的框架或基础设施级别的 Jar 包,例如 Kafka、Hive、Hudi 等 Connector 的Jar 包,应该部署到 ${FLINK_HOME}/lib 目录下,这样所有应用均可使用。但要记住:这需要重启应用或启动新的 Yarn Session 才会生效
  2. 使用 Flink SQL Client 时,如果 Jar 包已经部署到 ${FLINK_HOME}/lib 目录下,是会被自动加载的,但同样要启动新的 Yarn Session 才会生效!如果是临时性的 Jar 包,或者是应用/Session级别特定的 Jar 包,不适合启动任何程序都要加载,则可以通过 -j 1.jar -j 2.jar 的形式,在启动 SQL Client 时加载
  3. 当然,使用 ADD JAR '/path/hello.jar'; 同样也是一个不错的选择!
相关推荐
MarkHD4 小时前
第四天 从CAN总线到Spark/Flink实时处理
大数据·flink·spark
Violet_Stray5 小时前
【Ollama】docker离线部署Ollama+deepseek
docker·部署·ollama·deepseek
SparkSql6 小时前
FlinkCDC采集MySQL8.4报错
大数据·flink
james的分享6 小时前
Flink之Table API
flink·table api
涤生大数据1 天前
带你玩转 Flink TumblingWindow:从理论到代码的深度探索
flink·理论·代码·tumblingwindow
龙俊亨1 天前
maven坐标导入jar包时剔除不需要的内容
java·maven·jar
Apache Flink1 天前
网易游戏 Flink 云原生实践
游戏·云原生·flink
SunTecTec2 天前
SQL Server To Paimon Demo by Flink standalone cluster mode
java·大数据·flink
老友@3 天前
如何修改 JAR 包中的源码
java·jar·源码改造
爱宇阳3 天前
如何将本地 Jar 包安装到 Maven 仓库(以 Aspose 为例)
python·maven·jar