Flink 添加 / 部署 Jar 包的若干注意事项

Flink 添加 / 部署 Jar 包可根据 Jar 包的声明周期、作用范围选择不同的附属方式,从实际应用上来看,可以分成以下几种场景:

  1. 普遍使用的框架或基础设施级别的 Jar 包,例如 Kafka、Hive、Hudi 等 Connector 的Jar 包,应该部署到 ${FLINK_HOME}/lib 目录下,这样所有应用均可使用。但要记住:这需要重启应用或启动新的 Yarn Session 才会生效
  2. 使用 Flink SQL Client 时,如果 Jar 包已经部署到 ${FLINK_HOME}/lib 目录下,是会被自动加载的,但同样要启动新的 Yarn Session 才会生效!如果是临时性的 Jar 包,或者是应用/Session级别特定的 Jar 包,不适合启动任何程序都要加载,则可以通过 -j 1.jar -j 2.jar 的形式,在启动 SQL Client 时加载
  3. 当然,使用 ADD JAR '/path/hello.jar'; 同样也是一个不错的选择!
相关推荐
Hello.Reader1 天前
Flink SQL 中的 SELECT DISTINCT批流一体下的去重与状态管理
数据库·sql·flink
A-刘晨阳1 天前
【Linux】中如何修改jar包里的文件类及配置等内容
linux·运维·jar
Jackyzhe1 天前
Flink学习笔记:时间与Watermark
大数据·flink
Hello.Reader1 天前
Flink SQL 中的 SELECT & WHERE,批流统一的查询入口
sql·flink·linq
梦里不知身是客112 天前
flink任务的UI提交方式
大数据·ui·flink
古城小栈2 天前
SpringBoot项目集成第三方CAS-client jar包
spring boot·后端·jar
Hello.Reader2 天前
Flink SQL 从本地安装到跑通第一条流式 SQL
大数据·sql·flink
菜鸟冲锋号2 天前
Paimon 流 - 流增量关联(CDC 模式)具体实现方案
大数据·flink·数据湖·paimon·多流外键关联
若疆赤云online2 天前
Ubuntu Dockerfile jar运行安装中文字体
linux·ubuntu·jar