flink依赖版本选择

带 Scala 版本的依赖和不带 Scala 版本的依赖之间的区别主要与 Scala 的二进制兼容性有关。以下是详细解释:


**1. 带 Scala 版本的依赖**

  • **含义**:

依赖名称中带有 Scala 版本(如 `flink-streaming-scala_2.12`),表示该依赖是为特定 Scala 版本编译的。

  • **原因**:

Scala 的二进制兼容性较差,不同版本的 Scala 编译的库通常不能混用。因此,Flink 等库会为不同的 Scala 版本提供单独的构建版本。

  • **示例**:

```xml

<dependency>

<groupId>org.apache.flink</groupId>

<artifactId>flink-streaming-scala_2.12</artifactId>

<version>1.14.0</version>

</dependency>

```

这里的 `_2.12` 表示该依赖是为 Scala 2.12 编译的。

  • **适用场景**:

  • 使用 Scala 编写的项目。

  • 使用 Flink 的 Scala API。


**2. 不带 Scala 版本的依赖**

  • **含义**:

依赖名称中不包含 Scala 版本(如 `flink-streaming-java`),表示该依赖是用纯 Java 编写的,与 Scala 版本无关。

  • **原因**:

Java 的二进制兼容性较好,不同版本的 Java 编译的库通常可以混用。

  • **示例**:

```xml

<dependency>

<groupId>org.apache.flink</groupId>

<artifactId>flink-streaming-java</artifactId>

<version>1.14.0</version>

</dependency>

```

这个依赖是纯 Java 实现的,不依赖于 Scala。

  • **适用场景**:

  • 使用 Java 编写的项目。

  • 使用 Flink 的 Java API。


**3. 主要区别**

| **特性** | **带 Scala 版本的依赖** | **不带 Scala 版本的依赖** |

|------------------------|----------------------------------------|----------------------------------|

| **依赖名称** | 包含 Scala 版本(如 `_2.12`) | 不包含 Scala 版本 |

| **实现语言** | 用 Scala 实现 | 用 Java 实现 |

| **兼容性** | 必须与项目的 Scala 版本一致 | 与 Scala 版本无关 |

| **适用场景** | Scala 项目,使用 Flink 的 Scala API | Java 项目,使用 Flink 的 Java API |

| **示例依赖** | `flink-streaming-scala_2.12` | `flink-streaming-java` |


**4. 为什么需要区分?**

  • **Scala 的二进制兼容性问题**:

Scala 2.11、2.12、2.13 等版本之间的二进制兼容性较差。例如,用 Scala 2.12 编译的库不能在 Scala 2.13 项目中使用。

  • **Java 的兼容性**:

Java 的二进制兼容性较好,通常不需要为不同 Java 版本提供单独的构建版本。


**5. 如何选择?**

  • 如果你的项目是 **Scala 项目**,并且使用了 Flink 的 Scala API,则需要选择带 Scala 版本的依赖,并确保 Scala 版本一致。

  • 如果你的项目是 **Java 项目**,或者只使用 Flink 的 Java API,则选择不带 Scala 版本的依赖即可。


**示例对比**

  • **Scala 项目**(使用 Scala 2.12):

```xml

<dependency>

<groupId>org.apache.flink</groupId>

<artifactId>flink-streaming-scala_2.12</artifactId>

<version>1.14.0</version>

</dependency>

```

  • **Java 项目**:

```xml

<dependency>

<groupId>org.apache.flink</groupId>

<artifactId>flink-streaming-java</artifactId>

<version>1.14.0</version>

</dependency>

```


**总结**

  • 带 Scala 版本的依赖是为特定 Scala 版本编译的,适用于 Scala 项目。

  • 不带 Scala 版本的依赖是用 Java 实现的,适用于 Java 项目。

  • 选择依赖时,需要根据项目语言和使用的 API 类型来决定。

相关推荐
华农DrLai4 小时前
Spark SQL Catalyst 优化器详解
大数据·hive·sql·flink·spark
岁岁种桃花儿4 小时前
Flink从入门到上天系列第一篇:搭建第一个Flink程序
大数据·linux·flink·数据同步
Hello.Reader12 小时前
Flink ZooKeeper HA 实战原理、必配项、Kerberos、安全与稳定性调优
安全·zookeeper·flink
Hello.Reader16 小时前
Flink 使用 Amazon S3 读写、Checkpoint、插件选择与性能优化
大数据·flink
Hello.Reader17 小时前
Flink 对接 Google Cloud Storage(GCS)读写、Checkpoint、插件安装与生产配置指南
大数据·flink
Hello.Reader17 小时前
Flink Kubernetes HA(高可用)实战原理、前置条件、配置项与数据保留机制
贪心算法·flink·kubernetes
wending-Y19 小时前
记录一次排查Flink一直重启的问题
大数据·flink
Hello.Reader19 小时前
Flink 对接 Azure Blob Storage / ADLS Gen2:wasb:// 与 abfs://(读写、Checkpoint、插件与认证)
flink·flask·azure
Hello.Reader20 小时前
Flink 文件系统通用配置默认文件系统与连接数限制实战
vue.js·flink·npm
Hello.Reader1 天前
Flink Plugins 机制隔离 ClassLoader、目录结构、FileSystem/Metric Reporter 实战与避坑
大数据·flink