Flink 提交作业的方式

首先我进行了flink单机部署,个人建议不管是学习还是开发尽量不使用

然后开始了flink自带集群部署,部署在三台服务器上,资源管理由flink集群自己管理,然后为了解决集群的单点故障问题,使用zookeeper监听事件,实现独立高可用集群,防止集群的单点故障,推荐这种集群可以部署在开发环境中测试使用

最后一种就是flink on yarn: 把资源管理交给yarn实现,计算机资源统一由Haoop YARN管理,推荐部署在生产环境中使用,也算是目前主流的一种部署方式。

然后k8s部署,容器化部署是如今业界流行的一项技术,基于 Docker 镜像运行能够让用户更加方便地对应用进行管理和运维。容器管理工具中最为流行的就是 Kubernetes(k8s),而 Flink 也在最近的版本中支持了 k8s 部署模式

如果传递了--detached参数,一旦提交被接受,客户端将停止 :

参考:

Flink运行方式及对比-腾讯云开发者社区-腾讯云

Flink on Yarn模式部署

相关推荐
渣渣盟1 小时前
Flink流处理:多源传感器数据实时处理,基于Scala使用Flink从不同数据源(集合、文件、Kafka、自定义 Source)读取传感器数据
flink·kafka·scala
小伍_Five1 小时前
spark数据处理练习题详解【下】
java·大数据·spark·scala
你的坚持终将美好,1 小时前
elasticsearch kibana ik 各版本下载
大数据·elasticsearch·搜索引擎
Pluto_CSND2 小时前
hbase shell的常用命令
大数据·数据库·hbase
API_technology3 小时前
阿里巴巴 1688 数据接口开发指南:构建自动化商品详情采集系统
大数据·运维·数据挖掘·自动化
菠萝崽.4 小时前
Elasticsearch进阶篇-DSL
大数据·分布式·elasticsearch·搜索引擎·全文检索·jenkins·springboot
L耀早睡5 小时前
Spark缓存
大数据·数据库·spark
461K.5 小时前
写spark程序数据计算( 数据库的计算,求和,汇总之类的)连接mysql数据库,写入计算结果
大数据·分布式·spark
caihuayuan46 小时前
鸿蒙AI开发:10-多模态大模型与原子化服务的集成
java·大数据·sql·spring·课程设计
Musennn6 小时前
MySQL多条件查询深度解析
大数据·数据库·mysql