【Flink on k8s】 -- flink kubernetes operator 1.7.0 发布

目录

前言

重大特性

1、自动伸缩

2、版本支持

[3、savepoint 触发改进](#3、savepoint 触发改进)

[4、jdk 支持](#4、jdk 支持)


前言

Flink 官方博客于 2023-11-22 发布了 flink kubernetes operator 1.7.0 发布的消息。这个版本对自动缩放进行了大量的改进,包括与 Kubernetes 的完全分离,以便在未来支持更多的 Flink 环境。

重大特性

1、自动伸缩

从 1.7.0 开始,autoscaler 逻辑与 Kubernetes 和 Flink Kubernetes operator 解除了耦合。Flink-autoscaler 模块现在不包含任何与 Kubernetes 相关的依赖关系,而是定义了一组由 operator 实现的通用接口。

作为解耦工作的一部分,官方发布了独立 Autoscaler 的初始版本,作为目前未使用 Flink Kubernetes Operator 的用户的有限替代选择。它支持扩展任何类型的单个 Flink 集群,包括 Flink 独立集群、MiniCluster、Flink YARN 会话集群、Flink YARN 应用集群。

独立 Autoscaler 作为单独的 Java 进程运行。有关设置说明,请阅读 Autoscaler Standalone 部分。注意:独立的 autoscaler 仅限于 Flink 1.18 版本。

新版本的配置和老版本的配置如下:

复制代码
# Old / Deprecated keys
# kubernetes.operator.job.autoscaler.enabled
# kubernetes.operator.job.autoscaler.metrics.window

# New Keys
job.autoscaler.enabled
job.autoscaler.metrics.window

2、版本支持

该版本明确放弃了对 Flink 1.13 和 1.14 的支持。即 1.7.0 版本只支持 apache flink 1.15 以上的版本。那么,在升级 flink kubernetes operator 时,我们需要考虑兼容性,不能随意跨大版本升级!

3、savepoint 触发改进

为了为用户提供更大的灵活性,定期 savepoint 触发现在支持使用 Quartz 格式的 CRON 表达式配置触发时间表。详细请参考:Cron Trigger Tutorial

4、jdk 支持

从该版本开始,可以支持 Java 17 和 21。

参考

1、官方博客:Apache Flink Kubernetes Operator 1.7.0 Release Announcement | Apache Flink

2、Jira release 信息:Error - ASF JIRA

相关推荐
大数网19 分钟前
金融科技比惨:恒生电子减员2200人、宇信科技同比营收-24%,长亮科技同比净利-42%
大数据·人工智能·科技·金融
哲讯智能科技22 分钟前
SAP汽配解决方案:无锡哲讯科技助力企业数字化转型
大数据
心碎土豆块3 小时前
MapReduce打包运行
大数据·mapreduce
元6337 小时前
Spark 缓存(Caching)
大数据·spark
hwj运维之路7 小时前
k8s监控方案实践(三):部署与配置Grafana可视化平台
云原生·kubernetes·grafana
和计算机搏斗的每一天7 小时前
k8s之探针
云原生·容器·kubernetes
麻芝汤圆8 小时前
MapReduce 入门实战:WordCount 程序
大数据·前端·javascript·ajax·spark·mapreduce
IvanCodes9 小时前
五、Hadoop集群部署:从零搭建三节点Hadoop环境(保姆级教程)
大数据·hadoop·分布式
富能量爆棚10 小时前
spark-local模式
大数据
lqlj223310 小时前
配置 Spark 以 YARN 模式
大数据·spark