Flink 添加 / 部署 Jar 包的若干注意事项

Flink 添加 / 部署 Jar 包可根据 Jar 包的声明周期、作用范围选择不同的附属方式,从实际应用上来看,可以分成以下几种场景:

  1. 普遍使用的框架或基础设施级别的 Jar 包,例如 Kafka、Hive、Hudi 等 Connector 的Jar 包,应该部署到 ${FLINK_HOME}/lib 目录下,这样所有应用均可使用。但要记住:这需要重启应用或启动新的 Yarn Session 才会生效
  2. 使用 Flink SQL Client 时,如果 Jar 包已经部署到 ${FLINK_HOME}/lib 目录下,是会被自动加载的,但同样要启动新的 Yarn Session 才会生效!如果是临时性的 Jar 包,或者是应用/Session级别特定的 Jar 包,不适合启动任何程序都要加载,则可以通过 -j 1.jar -j 2.jar 的形式,在启动 SQL Client 时加载
  3. 当然,使用 ADD JAR '/path/hello.jar'; 同样也是一个不错的选择!
相关推荐
袖清暮雨2 分钟前
Flink加载维度数据
大数据·flink
码农心语8 小时前
用CMake添加gtest测试用例gtest_discover_tests指令函数的分析
测试用例·cmake·添加·原理分析
HHoao18 小时前
Flink 本地启动的多种方式
大数据·flink
武子康1 天前
大数据-151 Apache Druid 集群模式 配置启动【上篇】 超详细!
java·大数据·clickhouse·flink·apache
武子康1 天前
大数据-144 Apache Kudu 基本概述 数据模型 使用场景
java·大数据·clickhouse·架构·flink·apache
HumoChen992 天前
MySQL tinyint(1)类型数据在经过flink cdc同步到doris后只有0/1问题定位与解决
数据库·mysql·flink
Carrot_ly2 天前
IDEA2020运行项目时不从配置的maven仓库找jar包,从C盘默认路径下找jar包
java·maven·intellij-idea·jar
武子康2 天前
大数据-148 Apache Kudu 从 Flink 下沉数据到 Kudu
java·大数据·分布式·clickhouse·flink·apache
goTsHgo2 天前
通过 Flink 的火焰图定位反压
大数据·分布式·flink
大数据小墨2 天前
Dinky教程--Flink CDC pipline整库同步Doris
大数据·flink