Flink 添加 / 部署 Jar 包的若干注意事项

Flink 添加 / 部署 Jar 包可根据 Jar 包的声明周期、作用范围选择不同的附属方式,从实际应用上来看,可以分成以下几种场景:

  1. 普遍使用的框架或基础设施级别的 Jar 包,例如 Kafka、Hive、Hudi 等 Connector 的Jar 包,应该部署到 ${FLINK_HOME}/lib 目录下,这样所有应用均可使用。但要记住:这需要重启应用或启动新的 Yarn Session 才会生效
  2. 使用 Flink SQL Client 时,如果 Jar 包已经部署到 ${FLINK_HOME}/lib 目录下,是会被自动加载的,但同样要启动新的 Yarn Session 才会生效!如果是临时性的 Jar 包,或者是应用/Session级别特定的 Jar 包,不适合启动任何程序都要加载,则可以通过 -j 1.jar -j 2.jar 的形式,在启动 SQL Client 时加载
  3. 当然,使用 ADD JAR '/path/hello.jar'; 同样也是一个不错的选择!
相关推荐
慕容雪_14 小时前
springboot jar注册windows服务(WinSW版)
windows·spring boot·jar·服务
zhangkaixuan45620 小时前
Paimon Action Jar 实现机制分析
java·大数据·flink·paimon·datalake
java_logo21 小时前
Apache Flink Docker 容器化部署指南
docker·flink·apache·apache flink·apache flink部署·flink部署文档·flink部署教程
Jackyzhe1 天前
Flink源码阅读:双流操作
大数据·flink
是Yu欸1 天前
在昇腾8卡上极限部署 Qwen3-235B MoE
部署·qwen·昇腾·npu·ascend·vllm·多节点
Jackeyzhe1 天前
Flink源码阅读:Checkpoint机制(下)
flink
面向Google编程1 天前
Flink源码阅读:双流操作
大数据·flink
Hello.Reader2 天前
Flink ML OneHotEncoder 把类别索引变成稀疏 one-hot 向量
python·机器学习·flink
Hello.Reader2 天前
Flink ML VectorAssembler 把多列特征“拼”成一个向量列(数值 + 向量都支持)
java·python·flink
yumgpkpm2 天前
Cloudera CDP 7.3(国产CMP 鲲鹏版)平台与银行五大平台的技术对接方案
大数据·人工智能·hive·zookeeper·flink·kafka·cloudera