大数据flink篇之三-flink运行环境安装后续一yarn-session安装

风之清扬2023-10-15 23:28

前提：

Hadoop 必須保证在 2.2 以上，且必須裝有 hdfs 服务。Hadoop安装后续会有相关说明。

具体的，在生产环境中，flink一般会交由yarn、k8s等资源管理平台来处理。本章主要讲解yarn模式下的session cluster模式。

flink Session-Cluster

 在yarn中初始化一个flink集群，开辟指定的资源，以后提交任务都向这里提交。这个flink集群会驻在yarn集群中，除非手工停止。

首先确保在/etc/profile中添加了配置项

powershell 复制代码

export HADOOP_CLASSPATH=`hadoop classpath`

初始化启动

powershell 复制代码

./bin/yarn-session.sh --detached

提交作业

powershell 复制代码

./bin/flink run ./examples/streaming/TopSpeedWindowing.jar

停止作业

powershell 复制代码

echo "stop" | ./bin/yarn-session.sh -id application_XXXXX_XXX

这种模式所有的job都共享一个jobmanager，启动的集群只有一个jobmanager。

后续继续补充另外两种：Per-Job和Application Mode。