技术栈
streampark
tuoluzhe8521
9 个月前
大数据
·
flink
·
kubernetes
·
k8s
·
streampark
Flink on K8S生产集群使用StreamPark管理
Flink on Native Kubernetes 目前支持 Application 模式和 Session 模式,两者对比 Application 模式部署规避了 Session 模式的资源隔离问题、以及客户端资源消耗问题,因此生产环境更推荐采用 Application Mode 部署 Flink 任务。下面我们分别看看使用原始脚本的方式和使用 StreamPark 开发部署一个 Flink on Native Kubernetes 作业的流程。 使用脚本方式部署Kubernetes
Java小田
9 个月前
flink
·
k8s
·
streampark
使用streampark进行flink on k8s LoadBalancer配置域名访问flink ui
在使用yarn部署flink任务时,yarn自动代理了flink web ui,通过yarn的地址即可访问任务web页面。
tuoluzhe8521
9 个月前
大数据
·
flink
·
kubernetes
·
harbor
·
streampark
Flink on K8S集群搭建及StreamPark平台安装
在使用 Flink&Spark 时发现从编程模型, 启动配置到运维管理都有很多可以抽象共用的地方, 目前streampark提供了一个flink一站式的流处理作业开发管理平台, 从流处理作业开发到上线全生命周期都做了支持, 是一个一站式的流出来计算平台。 未来spark开发也在规划范围内,目前还不支持