【Flink on k8s】 -- flink kubernetes operator 1.7.0 发布

high20112023-12-16 17:42

前言

重大特性

1、自动伸缩

2、版本支持

[3、savepoint 触发改进](#3、savepoint 触发改进)

[4、jdk 支持](#4、jdk 支持)

前言

Flink 官方博客于 2023-11-22 发布了 flink kubernetes operator 1.7.0 发布的消息。这个版本对自动缩放进行了大量的改进，包括与 Kubernetes 的完全分离，以便在未来支持更多的 Flink 环境。

重大特性

1、自动伸缩

从 1.7.0 开始，autoscaler 逻辑与 Kubernetes 和 Flink Kubernetes operator 解除了耦合。Flink-autoscaler 模块现在不包含任何与 Kubernetes 相关的依赖关系，而是定义了一组由 operator 实现的通用接口。

作为解耦工作的一部分，官方发布了独立 Autoscaler 的初始版本，作为目前未使用 Flink Kubernetes Operator 的用户的有限替代选择。它支持扩展任何类型的单个 Flink 集群，包括 Flink 独立集群、MiniCluster、Flink YARN 会话集群、Flink YARN 应用集群。

独立 Autoscaler 作为单独的 Java 进程运行。有关设置说明，请阅读 Autoscaler Standalone 部分。注意：独立的 autoscaler 仅限于 Flink 1.18 版本。

新版本的配置和老版本的配置如下：

# Old / Deprecated keys
# kubernetes.operator.job.autoscaler.enabled
# kubernetes.operator.job.autoscaler.metrics.window

# New Keys
job.autoscaler.enabled
job.autoscaler.metrics.window

2、版本支持

该版本明确放弃了对 Flink 1.13 和 1.14 的支持。即 1.7.0 版本只支持 apache flink 1.15 以上的版本。那么，在升级 flink kubernetes operator 时，我们需要考虑兼容性，不能随意跨大版本升级！

3、savepoint 触发改进

为了为用户提供更大的灵活性，定期 savepoint 触发现在支持使用 Quartz 格式的 CRON 表达式配置触发时间表。详细请参考：Cron Trigger Tutorial。

4、jdk 支持

从该版本开始，可以支持 Java 17 和 21。

参考

1、官方博客：Apache Flink Kubernetes Operator 1.7.0 Release Announcement | Apache Flink

2、Jira release 信息：Error - ASF JIRA