使用streampark进行flink on k8s LoadBalancer配置域名访问flink ui

在使用yarn部署flink任务时,yarn自动代理了flink web ui,通过yarn的地址即可访问任务web页面。

k8s模式下想访问flink web ui,要么使用NodePort的方式启动任务,然后通过k8s主机IP+NodePort端口来进行访问。但是这种方法,每次启动任务都是随机的NodePort端口,且生产环境默认禁用主机端口访问。

所以采用LoadBalancer的方式,来通过域名访问flink web ui

1、安装 ingress-nginx controller

复制代码
helm upgrade --install ingress-nginx ingress-nginx \
  --repo https://kubernetes.github.io/ingress-nginx \
  --namespace ingress-nginx --create-namespace

安装成功后,能看到namespace ingress-nginx下启动了nginx-ingress-controller服务

2、申请域名

找运维申请域名,我这里使用的域名为:flink-ui-gj.test.yingzi.com

由于我们k8s主机上80端口被占用,ingress无法通过80端口来访问

于是通过配置kong转发请求到ingress controller,其实效果都一样

3、把第2步申请的域名配置到streampark中

4、streampark启动任务的时候Rest-Service Exposed Type选择LoadBalancer

启动任务,streampark会自动创建ingress配置,对应的path为:/flink/{job_name}/

这样就可以直接通过域名访问flink ui了,在streampark Application列表上可以直接点击跳转链接

相关推荐
yumgpkpm38 分钟前
CMP (类ClouderaCDP7.3(404次编译) )华为鲲鹏Aarch64(ARM)信创环境 查询2100w行 hive 查询策略
数据库·数据仓库·hive·hadoop·flink·mapreduce·big data
wudl55664 小时前
Flink 1.20 flink-config.yml 配置详解
大数据·flink
Apache Flink11 小时前
Flink Agents 0.1.0 发布公告
大数据·flink
武子康1 天前
大数据-129 - Flink CEP详解:实时流式复杂事件处理(Complex Event Processing)全解析
大数据·后端·flink
武子康2 天前
大数据-128 - Flink 并行度详解:从概念到最佳实践,一文读懂任务并行执行机制 代码示例与性能优化
大数据·后端·flink
Hello.Reader2 天前
Flink Data Source 理论与实践架构、时序一致性、容错恢复、吞吐建模与实现模式
架构·flink·linq
Hello.Reader2 天前
Flink 受管状态的自定义序列化原理、实践与可演进设计
java·网络·flink
笔生花2 天前
【实战-12】flink版本表
数据库·sql·flink
万琛2 天前
Flink1.20 CEP【水位线异常原因深度分析】
flink
板凳坐着晒太阳3 天前
Flink 作业通用优化方案
大数据·flink