第3章 Flink部署
3.1 集群角色

3.2 Flink集群搭建
3.2.1 集群启动
0)集群规划
表3-1 集群角色分配
具体安装部署步骤如下:
1)下载并解压安装包
(1)下载安装包flink-1.17.0-bin-scala_2.12.tgz,将该jar包上传到hadoop102节点服务器的/opt/software路径上。
(2)在/opt/software路径上解压flink-1.17.0-bin-scala_2.12.tgz到/opt/module路径上。
atguigu@hadoop102 software\]$ tar -zxvf flink-1.17.0-bin-scala_2.12.tgz -C /opt/module/
2)修改集群配置
(1)进入conf路径,修改flink-conf.yaml文件,指定hadoop102节点服务器为JobManager
\[atguigu@hadoop102 conf\]$ vim flink-conf.yaml
修改如下内容:
## JobManager节点地址.
jobmanager.rpc.address: hadoop102
jobmanager.bind-host: 0.0.0.0
rest.address: hadoop102
rest.bind-address: 0.0.0.0
## TaskManager节点地址.需要配置为当前机器名
taskmanager.bind-host: 0.0.0.0
taskmanager.host: hadoop102
(2)修改workers文件,指定hadoop102、hadoop103和hadoop104为TaskManager
\[atguigu@hadoop102 conf\]$ vim workers
修改如下内容:
hadoop102
hadoop103
hadoop104
(3)修改masters文件
\[atguigu@hadoop102 conf\]$ vim masters
修改如下内容:
hadoop102:8081
(4)另外,在flink-conf.yaml文件中还可以对集群中的JobManager和TaskManager组件进行优化配置,主要配置项如下:
jobmanager.memory.process.size:对JobManager进程可使用到的全部内存进行配置,包括JVM元空间和其他开销,默认为1600M,可以根据集群规模进行适当调整。
taskmanager.memory.process.size:对TaskManager进程可使用到的全部内存进行配置,包括JVM元空间和其他开销,默认为1728M,可以根据集群规模进行适当调整。
taskmanager.numberOfTaskSlots:对每个TaskManager能够分配的Slot数量进行配置,默认为1,可根据TaskManager所在的机器能够提供给Flink的CPU数量决定。所谓Slot就是TaskManager中具体运行一个任务所分配的计算资源。
parallelism.default:Flink任务执行的并行度,默认为1。优先级低于代码中进行的并行度配置和任务提交时使用参数指定的并行度数量。
关于Slot和并行度的概念,我们会在下一章做详细讲解。
3)分发安装目录
(1)配置修改完毕后,将Flink安装目录发给另外两个节点服务器。
\[atguigu@hadoop102 module\]$ xsync flink-1.17.0/
(2)修改hadoop103的 taskmanager.host
\[atguigu@hadoop103 conf\]$ vim flink-conf.yaml
修改如下内容:
## TaskManager节点地址.需要配置为当前机器名
taskmanager.host: hadoop103
(3)修改hadoop104的 taskmanager.host
\[atguigu@hadoop104 conf\]$ vim flink-conf.yaml
修改如下内容:
## TaskManager节点地址.需要配置为当前机器名
taskmanager.host: hadoop104
4)启动集群
(1)在hadoop102节点服务器上执行start-cluster.sh启动Flink集群:
\[atguigu@hadoop102 flink-1.17.0\]$ bin/start-cluster.sh
(2)查看进程情况:
\[atguigu@hadoop102 flink-1.17.0\]$ jpsall
=============== hadoop102 ===============
4453 StandaloneSessionClusterEntrypoint
4458 TaskManagerRunner
4533 Jps
=============== hadoop103 ===============
2872 TaskManagerRunner
2941 Jps
=============== hadoop104 ===============
2948 Jps
2876 TaskManagerRunner
5)访问Web UI
启动成功后,同样可以访问**http://hadoop102:8081** 对flink集群和任务进行监控管理。

这里可以明显看到,当前集群的TaskManager数量为3;由于默认每个TaskManager的Slot数量为1,所以总Slot数和可用Slot数都为3。
### 3.2.2 向集群提交作业
在上一章中,我们已经编写读取socket发送的单词并统计单词的个数程序案例。本节我们将以该程序为例,演示如何将任务提交到集群中进行执行。具体步骤如下。
1)环境准备
在hadoop102中执行以下命令启动netcat。
\[atguigu@hadoop102 flink-1.17.0\]$ nc -lk 7777
2)程序打包
(1)在我们编写的Flink入门程序的pom.xml文件中添加打包插件的配置,具体如下: