Flink On Yarn模式部署与验证

session运行模式

该模式下分为2步,即使用yarn-session.sh申请资源,然后 flink run提交任务。

1、申请资源yarn-session.sh

#在server1执行命令

bash 复制代码
/usr/local/flink-1.13.5/bin/yarn-session.sh -tm 1024 -n 2 -s 1 -d

#申请2个CPU、2g内存

-tm 表示每个TaskManager的内存大小

-n 表示申请2个容器,就是多少个taskmanager (新版本该参数省略,根据提交job动态调整)

-s 表示每个TaskManager的slots数量 (新版本该参数省略,根据提交job动态调整)

-d 表示以后台程序方式运行

2、验证yarn ui

yarn链接地址:http://server1:8088/cluster

需要在server1上执行

#多执行几次看看运行情况,或者运行其他的应用也可以

bash 复制代码
/usr/local/flink-1.13.5/bin/flink run  /usr/local/flink-1.13.5/examples/batch/WordCount.jar

或

bash 复制代码
/usr/local/flink-1.13.5/bin/flink run  -c xx.xx.xx.Main /usr/local/flink-1.13.5/examples/batch/WordCount.jar

4、验证flink提交的任务

通过上方的ApplicationMaster(Tracking UI)可以进入Flink的管理界面

5、关闭yarn-session

bash 复制代码
yarn application -kill application_1688448920799_0001

其它: Flink(二)1.13.5二种部署方式(Standalone、Standalone HA )、四种提交任务方式(前两种及session和per-job)验证详细步骤_一瓢一瓢的饮 alanchan的博客-CSDN博客

相关推荐
黑十11 小时前
FDE 怎么快速搭一个可演示页面?最小前端方案
java·大数据·前端·数据库·人工智能
Databend12 小时前
OpenRaft 自定义 Membership,按部署拓扑选择 Quorum
大数据·数据库·数据分析
Databend12 小时前
用 SQL 排查支付故障,OpenTelemetry 接入 Databend Cloud 实战
大数据·数据库·sql
上海潭龙东海科技有限公司12 小时前
智慧堆场动态模型三维实时孪生重构智能管控
大数据·网络·数据库·算法·重构
尹文祥14 小时前
Apache Doris 2.1.10:存储结构、索引与查询优化详解
大数据
isfox16 小时前
Hadoop 序列化:为什么不用 Java 自带 Serializable?
大数据
字节跳动数据平台17 小时前
火山引擎 VeKnow 落地指南(下):从知识编译到价值渗透
大数据
AI源码19 小时前
基于Spark的期刊推荐系统的设计与实现
大数据·分布式·spark
玩美数据19 小时前
海外市场数据分析驱动下的产业趋势演变与竞争格局深度解读
大数据·人工智能
wuyk5551 天前
Spider-第16讲-线程池与竞态问题
大数据·爬虫·python·elasticsearch·搜索引擎