57、Flink 的项目配置概述

1)概览
1.开始

要开始使用 Flink 应用程序,请使用以下命令、脚本和模板来创建 Flink 项目。

可以使用如下的 Maven 命令或快速启动脚本,基于原型创建一个项目。

a)Maven 命令
mvn archetype:generate                \
  -DarchetypeGroupId=org.apache.flink   \
  -DarchetypeArtifactId=flink-quickstart-java \
  -DarchetypeVersion=1.19.0
b)快速启动脚本
curl https://flink.apache.org/q/quickstart.sh | bash -s 1.19.0
2.需要哪些依赖

要开始一个 Flink 作业,通常需要如下依赖项:

  • Flink API,用来开发你的作业
  • 连接器和格式,以将你的作业与外部系统集成
  • 测试实用程序,以测试你的作业

除此之外,若要开发自定义功能,还要添加必要的第三方依赖项。

Flink 提供了两大 API:Datastream API 和 Table API & SQL,它们可以单独使用,也可以混合使用,具体取决于你的使用场景

你要使用的 API 你需要添加的依赖项
DataStream flink-streaming-java
DataStream Scala 版 flink-streaming-scala_2.12
Table API flink-table-api-java
Table API Scala 版 flink-table-api-scala_2.12
Table API + DataStream flink-table-api-java-bridge
Table API + DataStream Scala 版 flink-table-api-scala-bridge_2.12
4.运行和打包

如果想通过简单地执行主类来运行作业,需要 classpath 里包含 flink-clients。对于 Table API 程序,还需要在 classpath 中包含 flink-table-runtimeflink-table-planner-loader

根据经验,建议 将应用程序代码及其所有必需的依赖项打包进一个 fat/uber JAR [包含所有依赖项和代码的 JAR]中。这包括打包作业用到的连接器、格式和第三方依赖项;此规则不适用于 Java API、DataStream Scala API 以及前面提到的运行时模块,它们已经由 Flink 本身提供,不应包含在作业的 uber JAR 中。

可以把该作业 JAR 提交到已经运行的 Flink 集群,也可以轻松将其添加到 Flink 应用程序容器镜像中,而无需修改发行版。

相关推荐
无限大.13 分钟前
c语言200例 067
java·c语言·开发语言
余炜yw14 分钟前
【Java序列化器】Java 中常用序列化器的探索与实践
java·开发语言
攸攸太上15 分钟前
JMeter学习
java·后端·学习·jmeter·微服务
Kenny.志18 分钟前
2、Spring Boot 3.x 集成 Feign
java·spring boot·后端
不修×蝙蝠20 分钟前
八大排序--01冒泡排序
java
sky丶Mamba35 分钟前
Spring Boot中获取application.yml中属性的几种方式
java·spring boot·后端
数据龙傲天1 小时前
1688商品API接口:电商数据自动化的新引擎
java·大数据·sql·mysql
带带老表学爬虫1 小时前
java数据类型转换和注释
java·开发语言
千里码aicood2 小时前
【2025】springboot教学评价管理系统(源码+文档+调试+答疑)
java·spring boot·后端·教学管理系统
彭于晏6892 小时前
Android广播
android·java·开发语言