centos7搭建flink1.18并以 standalone模式启动

咸鱼c君2025-02-01 18:21

版本

组件	版本
scala	2.12.20
java	1.8.0_181
flink	1.18.1

关于scala和Java的安装参考：scala和java安装

flink 下载地址：flink下载链接

集群规划

bigdata01	bigdata02	bigdata03
master
worker	worker	worker

安装

1.创建存放路径

三个节点都需要操作

sh 复制代码

用于存放安装包: mkdir /home/software/
用于存放存放解压后的模块： mkdir /opt/module/bin/
用于存放模块软链接： mkdir /opt/module/link/

2.上传安装包

三个节点都需要操作

将安装包【flink-1.18.1-bin-scala_2.12.tgz】上传至/home/software/目录下

3.解压压缩包

三个节点都需要操作

sh 复制代码

tar -zxvf /home/software/flink-1.18.1-bin-scala_2.12.tgz -C /opt/module/bin/

4.修改配置文件

三个节点都需要操作

配置文件路径：/opt/module/bin/flink-1.18.1/conf

修改文件： vi master

添加内容：

sh 复制代码

bigdata01:8081

修改文件： vi workers

添加内容：

sh 复制代码

bigdata01
bigdata02
bigdata03

修改文件： vi flink-conf.yaml

修改内容：

sh 复制代码

jobmanager.rpc.address: bigdata01 # jobmanager地址
jobmanager.bind-host: 0.0.0.0     # jobmanager绑定地址
taskmanager.bind-host: 0.0.0.0    # taskmanager绑定地址
# taskmanager地址，写当前修改文件的节点地址
taskmanager.host: bigdata01       

taskmanager.numberOfTaskSlots: 4   # 任务槽数 ，根据需求填写
parallelism.default: 4  # 并行度 ，根据需求填写
execution.checkpointing.interval: 5000 # checkpoint时间间隔，毫秒
rest.port: 8081              #  REST服务的端口
rest.address: bigdata01      #  REST服务的地址
rest.bind-address: 0.0.0.0   # REST服务的绑定地址

5.启动flink

sh 复制代码

./opt/module/bin/flink-1.18.1/bin/start-cluster.sh

三个节点分别执行jps查看

bigdata01节点出现【StandaloneSessionClusterEntrypoint】进程

bigdata01,bigdata02,bigdata03节点都出现【TaskManagerRunner】进程

则表示启动成功

访问 http://bigdata01:8081,出现

6.如果启动失败

查看/opt/module/bin/flink-1.18.1/log目录下的最新日志，查看具体错误，针对解决。