使用streampark进行flink on k8s LoadBalancer配置域名访问flink ui

在使用yarn部署flink任务时,yarn自动代理了flink web ui,通过yarn的地址即可访问任务web页面。

k8s模式下想访问flink web ui,要么使用NodePort的方式启动任务,然后通过k8s主机IP+NodePort端口来进行访问。但是这种方法,每次启动任务都是随机的NodePort端口,且生产环境默认禁用主机端口访问。

所以采用LoadBalancer的方式,来通过域名访问flink web ui

1、安装 ingress-nginx controller

复制代码
helm upgrade --install ingress-nginx ingress-nginx \
  --repo https://kubernetes.github.io/ingress-nginx \
  --namespace ingress-nginx --create-namespace

安装成功后,能看到namespace ingress-nginx下启动了nginx-ingress-controller服务

2、申请域名

找运维申请域名,我这里使用的域名为:flink-ui-gj.test.yingzi.com

由于我们k8s主机上80端口被占用,ingress无法通过80端口来访问

于是通过配置kong转发请求到ingress controller,其实效果都一样

3、把第2步申请的域名配置到streampark中

4、streampark启动任务的时候Rest-Service Exposed Type选择LoadBalancer

启动任务,streampark会自动创建ingress配置,对应的path为:/flink/{job_name}/

这样就可以直接通过域名访问flink ui了,在streampark Application列表上可以直接点击跳转链接

相关推荐
AllData公司负责人5 小时前
AllData数据中台集成开源项目OpenMetaData,建设元数据与数据血缘平台!
数据库·实时数仓·元数据·streampark·数据血缘·openmetadata
海南java第二人1 天前
Flink架构的核心组件:Task、Job、TaskManager与JobManager
flink
鼎道开发者联盟1 天前
OpenClaw在K8s Pod中稳定运行的Docker制作指南(源码版)
docker·k8s·openclaw
海南java第二人1 天前
Flink 核心概念深度解析:从字符串大小写转换看 Job 与 Task 的本质区别
大数据·flink
橘子编程1 天前
Flink从入门到精通:全面实战指南
大数据·flink
DolphinScheduler社区1 天前
第 8 篇|Apache DolphinScheduler 与 Flink Spark 数据引擎的边界、协同与最佳实践
大数据·flink·spark·开源·apache·海豚调度·大数据工作流调度
csgo打的菜又爱玩2 天前
1.JobManager启动流程解析.md
大数据·flink·源代码管理
蓝魔Y2 天前
Flink CDC—数据同步
flink
juniperhan2 天前
Flink 系列第10篇:Flink 分布式缓存详解
分布式·缓存·flink
武子康2 天前
大数据-269 实时数仓-Flink+HBase+DIM层数据处理实战:构建地区维度数据仓库
大数据·后端·flink