Flink 提交作业的方式

首先我进行了flink单机部署,个人建议不管是学习还是开发尽量不使用

然后开始了flink自带集群部署,部署在三台服务器上,资源管理由flink集群自己管理,然后为了解决集群的单点故障问题,使用zookeeper监听事件,实现独立高可用集群,防止集群的单点故障,推荐这种集群可以部署在开发环境中测试使用

最后一种就是flink on yarn: 把资源管理交给yarn实现,计算机资源统一由Haoop YARN管理,推荐部署在生产环境中使用,也算是目前主流的一种部署方式。

然后k8s部署,容器化部署是如今业界流行的一项技术,基于 Docker 镜像运行能够让用户更加方便地对应用进行管理和运维。容器管理工具中最为流行的就是 Kubernetes(k8s),而 Flink 也在最近的版本中支持了 k8s 部署模式

如果传递了--detached参数,一旦提交被接受,客户端将停止 :

参考:

Flink运行方式及对比-腾讯云开发者社区-腾讯云

Flink on Yarn模式部署

相关推荐
Georgeviewer11 小时前
商业落地评测|实体门店GEO优化性价比与服务体系深度复盘
大数据·人工智能
腻害兔12 小时前
【若依项目-产品经理视角】深度拆解 RuoYi-Vue-Pro 商城模块:从商品管理到交易引擎,50 张表撑起一整套电商系统
java·大数据·vue.js·产品经理·ai编程
GIR12312 小时前
官方出品 | 多通道土壤呼吸测量系统市场现状与十五五规划深度报告:行业分析+趋势预测全收录
大数据·人工智能·机器学习
南讯股份Nascent14 小时前
洽洽全域会员项目启动会圆满召开
大数据·人工智能
大郭鹏宇14 小时前
基于 LangGraph 构建智能分诊系统(一):项目概述与环境搭建
大数据·人工智能·microsoft·langchain
天天爱吃肉821818 小时前
【电源拆解:跟着问答逐一认识开关适配器PCB元器件】
大数据·人工智能·python·功能测试·嵌入式硬件·汽车
Elastic 中国社区官方博客18 小时前
将你的 Grafana Kubernetes 仪表板迁移到 Elastic Observability:相同的 PromQL,30 倍更快的查询
大数据·人工智能·elasticsearch·搜索引擎·容器·kubernetes·grafana
abcy07121318 小时前
storm核心实时机制
大数据·storm
灵机一物18 小时前
合伙制律所分红和提成律师个税怎么合规优化?
大数据·人工智能
REST_302720 小时前
告别Excel孤岛:一款任务链路可视化工具带来的真实改变
大数据·微服务·云计算·编辑器·excel·动态规划