Flink 提交作业的方式

首先我进行了flink单机部署,个人建议不管是学习还是开发尽量不使用

然后开始了flink自带集群部署,部署在三台服务器上,资源管理由flink集群自己管理,然后为了解决集群的单点故障问题,使用zookeeper监听事件,实现独立高可用集群,防止集群的单点故障,推荐这种集群可以部署在开发环境中测试使用

最后一种就是flink on yarn: 把资源管理交给yarn实现,计算机资源统一由Haoop YARN管理,推荐部署在生产环境中使用,也算是目前主流的一种部署方式。

然后k8s部署,容器化部署是如今业界流行的一项技术,基于 Docker 镜像运行能够让用户更加方便地对应用进行管理和运维。容器管理工具中最为流行的就是 Kubernetes(k8s),而 Flink 也在最近的版本中支持了 k8s 部署模式

如果传递了--detached参数,一旦提交被接受,客户端将停止 :

参考:

Flink运行方式及对比-腾讯云开发者社区-腾讯云

Flink on Yarn模式部署

相关推荐
极客先躯3 小时前
Hadoop krb5.conf 配置详解
大数据·hadoop·分布式·kerberos·krb5.conf·认证系统
2301_786964365 小时前
3、练习常用的HBase Shell命令+HBase 常用的Java API 及应用实例
java·大数据·数据库·分布式·hbase
matlabgoodboy5 小时前
“图像识别技术:重塑生活与工作的未来”
大数据·人工智能·生活
happycao1236 小时前
Flink 03 | 数据流基本操作
大数据·flink
Neituijunsir7 小时前
2024.09.22 校招 实习 内推 面经
大数据·人工智能·算法·面试·自动驾驶·汽车·求职招聘
Data 3178 小时前
Hive数仓操作(十一)
大数据·数据库·数据仓库·hive·hadoop
qtj-00110 小时前
普通人在刚开始做副业时要注意哪些细节?
大数据·微信·新媒体运营·创业创新
知识分享小能手10 小时前
mysql学习教程,从入门到精通,SQL 修改表(ALTER TABLE 语句)(29)
大数据·开发语言·数据库·sql·学习·mysql·数据分析
a6953188_10 小时前
如何评估一个副业项目的可行性?
大数据·微信·创业创新
州周11 小时前
Flink一点整理
大数据·flink