flink operator v1.10部署flink v1.19.2

1 概述

flink集群能对接kubernetes、yarn等集群管系统,本文介绍flink对接kubernetes。

flink kubernetes operator(网址:https://nightlies.apache.org/flink/flink-kubernetes-operator-docs-release-1.10/docs/concepts/overview/)可帮助你在kubernetes中管理flink集群、提交flink任务等,而你为此只需要认识一些kubernetes CR。

flink kubernetes operator的架构如下:

2 环境准备

2.1 华为云kubernetes集群

准备一个kubernetes集群,如下图所示:

复制代码
https://downloads.apache.org/flink/flink-kubernetes-operator-1.10.0/flink-kubernetes-operator-1.10.0-helm.tgz

2.3 cert-manager yaml文件下载地址

复制代码
https://github.com/jetstack/cert-manager/releases/download/v1.17.2/cert-manager.yaml

2.4 准备flink应用示例

复制代码
https://github.com/apache/flink/tree/master/flink-examples

将示例的代码编译成jar包,再上传到对象存储OBS,如下图所示:

这些jar包存在独立的服务器上,flink operator可以通过HTTP协议拉取jar包,最终提交给flink集群。

3 部署

3.1 安装cert-manager

此组件是flink operator webhook的一个依赖,因此先安装它。

复制代码
cd /tmp
wget https://github.com/jetstack/cert-manager/releases/download/v1.17.1/cert-manager.yaml
kubectl apply -f cert-manager.yaml

3.2 安装helm二进制工具

复制代码
cd /tmp
wget https://get.helm.sh/helm-v3.16.2-linux-amd64.tar.gz
tar xf helm-v3.16.2-linux-amd64.tar.gz
cd linux-amd64
/bin/cp -f helm /usr/bin/
helm env

下载fink operator的helm包,解压文件,最后通过helm命令将它部署在flink namespace中。

复制代码
cd /tmp
wget https://downloads.apache.org/flink/flink-kubernetes-operator-1.10.0/flink-kubernetes-operator-1.10.0-helm.tgz
tar xf flink-kubernetes-operator-1.10.0-helm.tgz

helm upgrade --install flink-operator -n flink --create-namespace \
--set image.repository=swr.cn-south-1.myhuaweicloud.com/migrator/flink-kubernetes-operator \
--set image.tag=1.10.0 \
./flink-kubernetes-operator/

将下面一个FlinkDeployment资源提交到kubernetes集群即可,只需要描述flink集群的镜像,jobmanager和taskmanager的资源配额。

复制代码
apiVersion: flink.apache.org/v1beta1
kind: FlinkDeployment
metadata:
  name: flink-session-cluster
  namespace: flink
spec:
  image: swr.cn-south-1.myhuaweicloud.com/migrator/flink:1.19
  flinkVersion: v1_19
  flinkConfiguration:
  jobManager:
    resource:
      memory: "2048m"
      cpu: 2
  taskManager:
    resource:
      memory: "2048m"
      cpu: 2
  serviceAccount: flink

在控制台创建ingress资源即可:

4 提交flink应用

将FlinkSessionJob资源提交到kubernetes集群中即可。deploymentName指向刚刚新建的flink集群(deployment名称就是CR的名称)。

复制代码
apiVersion: flink.apache.org/v1beta1
kind: FlinkSessionJob
metadata:
  name: basic-session-job-example
  namespace: flink
spec:
  deploymentName: flink-session-cluster
  job:
    jarURI: https://你的服务器地址/StateMachineExample.jar
    parallelism: 1

提交后,查看flink operator的日志,可以发现控制器协调成功:

复制代码
o.a.f.k.o.r.d.AbstractFlinkResourceReconciler [INFO ][flink/basic-session-job-example] Resource fully reconciled, nothing to do...

登录浏览器查看flink集群,可见任务正常运行:

5 小结

通过提交kubernetes CR,来完成flink集群的创建、flink任务的管理等,这就是flink kubernetes operator的价值。

相关推荐
Stanford_11062 小时前
关于大数据的基础知识(三)——数据安全与合规
大数据·网络·c++·物联网·学习·微信小程序·微信开放平台
不辉放弃2 小时前
Apache Spark 的结构化流
大数据·数据库·pyspark·伪实时
G皮T3 小时前
【ELasticsearch】集群故障模拟方案(一):节点宕机、节点离线
大数据·elasticsearch·搜索引擎·集群·高可用·故障模拟·容错能力
@十八子德月生3 小时前
第三阶段—8天Python从入门到精通【itheima】-143节(pyspark实战——数据计算——flatmap方法)
大数据·开发语言·python·数据分析·pyspark·好好学习,天天向上·question answer
鸿乃江边鸟4 小时前
Starrocks ShortCircuit短路径的调度
大数据·starrocks·sql
TMT星球4 小时前
官宣朱珠成为集团品牌代言人,转转推动二手消费新风尚
大数据·人工智能
weixin_177297220695 小时前
短剧小程序系统开发:引领影视消费新潮流
大数据·小程序
Freed&5 小时前
部署 Kibana 8.2.2 可视化管理 Elasticsearch 8.2.2 集群
大数据·elasticsearch·搜索引擎
WongKyunban5 小时前
AWS服务分类
大数据·云计算·aws
涛思数据(TDengine)5 小时前
可信数据库大会现场,TDengine 时序数据库展示核电场景下的高性能与 AI 创新
大数据·运维·数据库·人工智能·时序数据库·tdengine·涛思数据