【Flink on k8s】 -- flink kubernetes operator 1.7.0 发布

目录

前言

重大特性

1、自动伸缩

2、版本支持

[3、savepoint 触发改进](#3、savepoint 触发改进)

[4、jdk 支持](#4、jdk 支持)


前言

Flink 官方博客于 2023-11-22 发布了 flink kubernetes operator 1.7.0 发布的消息。这个版本对自动缩放进行了大量的改进,包括与 Kubernetes 的完全分离,以便在未来支持更多的 Flink 环境。

重大特性

1、自动伸缩

从 1.7.0 开始,autoscaler 逻辑与 Kubernetes 和 Flink Kubernetes operator 解除了耦合。Flink-autoscaler 模块现在不包含任何与 Kubernetes 相关的依赖关系,而是定义了一组由 operator 实现的通用接口。

作为解耦工作的一部分,官方发布了独立 Autoscaler 的初始版本,作为目前未使用 Flink Kubernetes Operator 的用户的有限替代选择。它支持扩展任何类型的单个 Flink 集群,包括 Flink 独立集群、MiniCluster、Flink YARN 会话集群、Flink YARN 应用集群。

独立 Autoscaler 作为单独的 Java 进程运行。有关设置说明,请阅读 Autoscaler Standalone 部分。注意:独立的 autoscaler 仅限于 Flink 1.18 版本。

新版本的配置和老版本的配置如下:

复制代码
# Old / Deprecated keys
# kubernetes.operator.job.autoscaler.enabled
# kubernetes.operator.job.autoscaler.metrics.window

# New Keys
job.autoscaler.enabled
job.autoscaler.metrics.window

2、版本支持

该版本明确放弃了对 Flink 1.13 和 1.14 的支持。即 1.7.0 版本只支持 apache flink 1.15 以上的版本。那么,在升级 flink kubernetes operator 时,我们需要考虑兼容性,不能随意跨大版本升级!

3、savepoint 触发改进

为了为用户提供更大的灵活性,定期 savepoint 触发现在支持使用 Quartz 格式的 CRON 表达式配置触发时间表。详细请参考:Cron Trigger Tutorial

4、jdk 支持

从该版本开始,可以支持 Java 17 和 21。

参考

1、官方博客:Apache Flink Kubernetes Operator 1.7.0 Release Announcement | Apache Flink

2、Jira release 信息:Error - ASF JIRA

相关推荐
Patrick_Wilson7 小时前
从「改个端口」到 502:Next.js on k8s 的容器端口、Service 映射与 env 覆盖
docker·kubernetes·next.js
tonyabasy8 小时前
Flink 实时数仓开发实战:SQL中也能做到资源精细化管理
flink
探索云原生15 小时前
K8s 1.36 这个 GA 特性,把 initContainer 拉模型的 hack 干掉了
ai·云原生·kubernetes
大大大大晴天17 小时前
浅聊Flink实时关联计算的不适用场景
flink
Java之美2 天前
一次k8s升级引发的DevicePlugin注册失败
云原生·kubernetes
大大大大晴天2 天前
深入解析 Flink Kafka Connector:原理、配置与最佳实践
flink
大大大大晴天3 天前
Hudi技术内幕:RecordPayload到RecordMerger
大数据
SelectDB3 天前
秒级弹性、最高降本 70%:SelectDB Serverless 如何重塑云数仓资源效率
大数据·后端·云原生
WhoAmI3 天前
MapReduce框架原理解析一:InputFormat
大数据·hadoop