使用streampark进行flink on k8s LoadBalancer配置域名访问flink ui

在使用yarn部署flink任务时,yarn自动代理了flink web ui,通过yarn的地址即可访问任务web页面。

k8s模式下想访问flink web ui,要么使用NodePort的方式启动任务,然后通过k8s主机IP+NodePort端口来进行访问。但是这种方法,每次启动任务都是随机的NodePort端口,且生产环境默认禁用主机端口访问。

所以采用LoadBalancer的方式,来通过域名访问flink web ui

1、安装 ingress-nginx controller

复制代码
helm upgrade --install ingress-nginx ingress-nginx \
  --repo https://kubernetes.github.io/ingress-nginx \
  --namespace ingress-nginx --create-namespace

安装成功后,能看到namespace ingress-nginx下启动了nginx-ingress-controller服务

2、申请域名

找运维申请域名,我这里使用的域名为:flink-ui-gj.test.yingzi.com

由于我们k8s主机上80端口被占用,ingress无法通过80端口来访问

于是通过配置kong转发请求到ingress controller,其实效果都一样

3、把第2步申请的域名配置到streampark中

4、streampark启动任务的时候Rest-Service Exposed Type选择LoadBalancer

启动任务,streampark会自动创建ingress配置,对应的path为:/flink/{job_name}/

这样就可以直接通过域名访问flink ui了,在streampark Application列表上可以直接点击跳转链接

相关推荐
spider_xcxc1 天前
云上网络基石(阿里云):深入解读阿里云VPC及其应用生态
网络·阿里云·云计算·k8s·运维开发·虚拟化
本旺1 天前
Flink 2.x状态演进:理解解 1.x 与 2.x 状态存储机制
大数据·flink
Apache Flink1 天前
从结构化到多模态:Apache Flink,多模态数据处理的流式底座
大数据·flink·apache
婉然从物1 天前
Flink SQL 元数据持久化实战:从“每次重启表消失”到“Hive Metastore 永久存储”
hive·sql·flink
@SmartSi2 天前
新一代实时数据集成框架 Flink CDC 3.0 架构解析
flink·cdc
weixin_439930642 天前
Kubernetes(K8s)入门实践
云原生·容器·kubernetes·k8s
TTBIGDATA3 天前
【Ambari Plus】12.Flink 安装
hive·hadoop·flink·ambari·hdp·cdh·bigtop
AOwhisky4 天前
kubernetes(K8s)学习笔记:第十期与第十一期核心知识点自测与详解
运维·笔记·云原生·kubernetes·云计算·k8s·hpa
赵丙双5 天前
美团 Leaf-snowflake 分布式 ID 生成器 k8s 改造的想法
k8s·snowflake·分布式id生成器·美团 leaf
AOwhisky5 天前
Kubernetes(K8s)学习笔记(第十四期):集群存储与有状态应用(下篇):StatefulSet 有状态应用管理
redis·笔记·mysql·云原生·kubernetes·云计算·k8s