Flink1.17.0集群的搭建

环境准备:VMware、CentOS7、FinalShell、Flink1.17.0

已有三个虚拟机,IP地址分别为:192.168.79.129,192.168.79.130,192.168.79.135

flink1.17.0和jdk下载:

链接: https://pan.baidu.com/s/1qiSUJZCCTXE6VuYr6z2aeQ?pwd=9qcb 提取码: 9qcb

下载安装包flink-1.17.0-bin-scala_2.12.tgz,将安装包上传到192.168.79.129虚拟机的/usr/flink/目录下。(使用FinalShell可以直接拖动压缩包上传)

切换到压缩包目录下

复制代码
cd /usr/flink

解压文件

复制代码
tar -zxvf flink-1.17.0-bin-scala_2.12.tgz -C /usr/flink

2. 修改集群配置

在/usr/flink/flink1.17.0/conf目录下找到flink-conf.yaml文件,修改flink-conf.yaml文件内容。

复制代码
JobManager节点地址.
jobmanager.rpc.address: 192.168.79.129
jobmanager.bind-host: 0.0.0.0
rest.address: 192.168.79.129
rest.bind-address: 0.0.0.0
TaskManager节点地址,需要配置为当前机器名
taskmanager.bind-host: 0.0.0.0
taskmanager.host: 192.168.79.129

在/usr/flink/flink1.17.0/conf目录下找到workers文件,修改workers文件内容。

指定192.168.79.129、192.168.79.130和192.168.79.135为TaskManager

在/usr/flink/flink1.17.0/conf目录下找到masters文件,修改masters文件内容。

3. 将文件夹拷贝到另外两个虚拟机上

在192.168.79.130虚拟机上新建/usr/flink文件夹

使用scp命令将192.168.79.129虚拟机上的flink1.17.0文件夹拷贝到192.168.79.130虚拟机上

复制代码
scp -r /usr/flink/flink-1.17.0 root@192.168.79.130:/usr/flink/

(如果没有使用SSH,需要输入password)

修改192.168.79.130虚拟机的配置,在/usr/flink/flink1.17.0/conf目录下找到flink-conf.yaml文件,修改flink-conf.yaml文件内容。

TaskManager节点地址需要配置为当前虚拟机地址。

在192.168.79.135虚拟机上的操作同上。

4. 配置Java环境

如果没有Java环境会报错,先配置Java环境。

配置Java环境:

将jdk-8u162-linux-x64.tar.gz上传到192.168.79.129虚拟机的/usr/jdk目录下并解压。

复制代码
tar -zxvf jdk-8u162-linux-x64.tar.gz

为了方便可以将jdk1.8.0_162文件夹重命名为jdk1.8

配置环境变量,修改/etc/profile文件。

复制代码
export JAVA_HOME=/usr/jdk/jdk1.8
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib:$CLASSPATH
export JAVA_PATH=${JAVA_HOME}/bin:${JRE_HOME}/bin
export PATH=$PATH:${JAVA_PATH}

使profile生效

复制代码
source /etc/profile

检查配置环境是否成功,可查看jdk版本。

在192.168.79.130和192.168.79.135虚拟机的操作同上。

5. 启动集群

复制代码
bin/start-cluster.sh

在192.168.79.129虚拟机上输入此命令(如果没有SSH,则需要输入password)

集群成功启动后,在每个虚拟机下输入jps可查看进程情况:

192.168.79.129虚拟机:192.168.79.130虚拟机:192.168.79.135虚拟机:Master上有TaskManagerRunner、StandaloneSessionClusterEntrypoint,Workers上有TaskManagerRunner进程说明集群启动成功。

6. 访问Web UI

启动成功后,可以访问http://192.168.79.129:8081对flink集群和任务进行监控管理。

当前集群的TaskManager数量为3,由于默认每个TaskManager的Slot数量为1,所以总Slot数和可用Slot数都为3。

7. 停止集群

复制代码
bin/stop-cluster.sh

在192.168.79.129虚拟机上输入此命令

相关推荐
2601_962071574 小时前
【Java报错已解决】org.springframework.beans.factory.BeanCreationException
java·开发语言
TDengine (老段)5 小时前
TDengine 线程模型 — 网络、调度、执行
大数据·数据库·物联网·制造·时序数据库·tdengine·涛思数据
zww89491115 小时前
酒馆预约系统开发实战:从需求分析到上线全流程指南
java·eclipse
琥珀色糖5 小时前
Linux守护进程
linux·终端·守护进程·会话·进程组
智购科技自动贩卖机7 小时前
自动售货机嵌入式状态机设计实战:从45个事件源到层次型状态机的工程重构
大数据·人工智能·stm32·物联网·重构·硬件架构
乐迪信息7 小时前
智慧港口船舶AI算法实现在线状态监测
大数据·人工智能·深度学习·算法·计算机视觉
Raas1007 小时前
MAI Gateway(魔芋企业级AI网关)对比分析:AI网关和API网关区别?企业级能力差距一览
大数据·人工智能·数据挖掘·mai gateway·企业级产品
zww89491118 小时前
匿名树洞系统开发实战:从需求分析到部署指南
java·eclipse
Neighbor_OldY8 小时前
云上安全配置审计与误配置修复实战:从安全组、OSS、RAM到数据库的全栈排查复盘
大数据·运维·安全·云计算
工业甲酰苯胺9 小时前
AI低代码破局:制造业数智转型落地实战
大数据·人工智能·低代码·制造