Flink 提交作业的方式

首先我进行了flink单机部署,个人建议不管是学习还是开发尽量不使用

然后开始了flink自带集群部署,部署在三台服务器上,资源管理由flink集群自己管理,然后为了解决集群的单点故障问题,使用zookeeper监听事件,实现独立高可用集群,防止集群的单点故障,推荐这种集群可以部署在开发环境中测试使用

最后一种就是flink on yarn: 把资源管理交给yarn实现,计算机资源统一由Haoop YARN管理,推荐部署在生产环境中使用,也算是目前主流的一种部署方式。

然后k8s部署,容器化部署是如今业界流行的一项技术,基于 Docker 镜像运行能够让用户更加方便地对应用进行管理和运维。容器管理工具中最为流行的就是 Kubernetes(k8s),而 Flink 也在最近的版本中支持了 k8s 部署模式

如果传递了--detached参数,一旦提交被接受,客户端将停止 :

参考:

Flink运行方式及对比-腾讯云开发者社区-腾讯云

Flink on Yarn模式部署

相关推荐
智讯天下10 小时前
机器人零部件MES选型攻略:从精益制造到智能工厂的进化路径
大数据
jkyy201410 小时前
AI营养师:全周期膳食智能陪伴,构建机构营养服务差异化壁垒
大数据·人工智能·健康医疗
isNotNullX10 小时前
大数据项目4大核心环节详解:数据采集、数据处理、数据存储、数据分析
大数据·数据挖掘·数据分析
万岳科技程序员小金10 小时前
从0到1搭建企业内训平台:教育培训系统源码开发实践
大数据·人工智能
张祥前世界大同10 小时前
计立伟矢量光速螺旋时空归一化体系精简阅读指南
大数据·人工智能·时序数据库
IP老炮不瞎唠10 小时前
批量任务vs持续监控:不同市场调研场景下的配置策略
大数据·网络·网络协议
大公产经晚间消息10 小时前
滴滴国际业务一季度GTV同比增长60% 生态潜力持续释放
大数据·人工智能
xixixi7777710 小时前
Hugging Face 开源模型供应链安全平台、AI 数据隐私保护法草案发布:AI 安全合规进入技术 + 法律双驱动阶段
大数据·人工智能·安全·ai·开源·大模型·智能体
cheems952710 小时前
Git 分支管理
大数据·git
计算机安禾11 小时前
【算法分析与设计】第35篇:后缀数据结构:后缀树与后缀数组的构造
大数据·人工智能·算法·机器学习·剪枝