Flink On Yarn模式部署与验证

session运行模式

该模式下分为2步，即使用yarn-session.sh申请资源，然后 flink run提交任务。

1、申请资源yarn-session.sh

#在server1执行命令

/usr/local/flink-1.13.5/bin/yarn-session.sh -tm 1024 -n 2 -s 1 -d

#申请2个CPU、2g内存

-tm 表示每个TaskManager的内存大小

-n 表示申请2个容器，就是多少个taskmanager (新版本该参数省略，根据提交job动态调整)

-s 表示每个TaskManager的slots数量 (新版本该参数省略，根据提交job动态调整)

-d 表示以后台程序方式运行

2、验证yarn ui

yarn链接地址：http://server1:8088/cluster

3、使用flink run提交任务

需要在server1上执行

#多执行几次看看运行情况，或者运行其他的应用也可以

/usr/local/flink-1.13.5/bin/flink run  /usr/local/flink-1.13.5/examples/batch/WordCount.jar

或

/usr/local/flink-1.13.5/bin/flink run  -c xx.xx.xx.Main /usr/local/flink-1.13.5/examples/batch/WordCount.jar

4、验证flink提交的任务

通过上方的ApplicationMaster(Tracking UI)可以进入Flink的管理界面

5、关闭yarn-session

yarn application -kill application_1688448920799_0001

其它： Flink（二）1.13.5二种部署方式(Standalone、Standalone HA )、四种提交任务方式（前两种及session和per-job）验证详细步骤_一瓢一瓢的饮 alanchan的博客-CSDN博客