技术栈

streampark

tuoluzhe8521
1 年前
大数据·flink·kubernetes·k8s·streampark
Flink on K8S生产集群使用StreamPark管理Flink on Native Kubernetes 目前支持 Application 模式和 Session 模式,两者对比 Application 模式部署规避了 Session 模式的资源隔离问题、以及客户端资源消耗问题,因此生产环境更推荐采用 Application Mode 部署 Flink 任务。下面我们分别看看使用原始脚本的方式和使用 StreamPark 开发部署一个 Flink on Native Kubernetes 作业的流程。 使用脚本方式部署Kubernetes
Java小田
1 年前
flink·k8s·streampark
使用streampark进行flink on k8s LoadBalancer配置域名访问flink ui在使用yarn部署flink任务时,yarn自动代理了flink web ui,通过yarn的地址即可访问任务web页面。
tuoluzhe8521
1 年前
大数据·flink·kubernetes·harbor·streampark
Flink on K8S集群搭建及StreamPark平台安装在使用 Flink&Spark 时发现从编程模型, 启动配置到运维管理都有很多可以抽象共用的地方, 目前streampark提供了一个flink一站式的流处理作业开发管理平台, 从流处理作业开发到上线全生命周期都做了支持, 是一个一站式的流出来计算平台。 未来spark开发也在规划范围内,目前还不支持