使用streampark进行flink on k8s LoadBalancer配置域名访问flink ui

在使用yarn部署flink任务时,yarn自动代理了flink web ui,通过yarn的地址即可访问任务web页面。

k8s模式下想访问flink web ui,要么使用NodePort的方式启动任务,然后通过k8s主机IP+NodePort端口来进行访问。但是这种方法,每次启动任务都是随机的NodePort端口,且生产环境默认禁用主机端口访问。

所以采用LoadBalancer的方式,来通过域名访问flink web ui

1、安装 ingress-nginx controller

复制代码
helm upgrade --install ingress-nginx ingress-nginx \
  --repo https://kubernetes.github.io/ingress-nginx \
  --namespace ingress-nginx --create-namespace

安装成功后,能看到namespace ingress-nginx下启动了nginx-ingress-controller服务

2、申请域名

找运维申请域名,我这里使用的域名为:flink-ui-gj.test.yingzi.com

由于我们k8s主机上80端口被占用,ingress无法通过80端口来访问

于是通过配置kong转发请求到ingress controller,其实效果都一样

3、把第2步申请的域名配置到streampark中

4、streampark启动任务的时候Rest-Service Exposed Type选择LoadBalancer

启动任务,streampark会自动创建ingress配置,对应的path为:/flink/{job_name}/

这样就可以直接通过域名访问flink ui了,在streampark Application列表上可以直接点击跳转链接

相关推荐
starzy19908 小时前
Flink 优化之 CheckPoint 优化及参数详解:从原理到生产环境调优的完整指南
大数据·flink
nvd1110 小时前
深入解构 Flink FLIP-27 数据摄取内核:从 env.execute() 到工业级 Source 运行机制
大数据·flink
Dragon_qu·x1 天前
MongoDB 高可用集群部署
运维·数据库·mongodb·k8s·helm
nvd111 天前
Flink 极简入门与零常驻批处理架构实战:从双模式辨析到 GitOps 通用模具治理
大数据·架构·flink
俊哥大数据1 天前
Flink1.20.3 实时消费 Kafka 数据并解析入湖 Paimon1.4.2 全流程实战
分布式·flink·kafka·数据湖·paimon
TLA技术2 天前
LogMiner vs 裸日志解析(六):想提速,只能“堆实例”,结果把源库拖垮
数据库·oracle·flink·dba·迁移学习
EatFan2 天前
从T+1到分钟级:湖仓一体在大厂的真实落地收益对照(携程/网易云信/腾讯)
starrocks·flink·硬件架构·doris·湖仓一体·paimon
用户3610588626123 天前
Flink Keyed Window 详解及代码实现:从并行计算原理到数据倾斜优化
大数据·flink
此冬歌咏8 天前
K8s 节点故障实战:优雅驱逐 31 秒,硬故障 331 秒,以及那个永远 Pending 的 Pod
运维·k8s
玉&心8 天前
通过Arthas在线诊断K8S中的内存及JVM等使用情况
docker·k8s·arthas