Flink学习(八)-Flink 集群搭建

1,准备三台机器

装好 jdk 等必要的组件。

注意,由于本身没有额外的 dns做转发。因此,需要在每台机器的 host 文件里,配置好相关 ip

具体方法

bash 复制代码
vim /etc/hosts

2,flink做配置

2.1 资源规划

|---------------|------------------------|-------------|-------------|
| 节点服务器 | node01 | node02 | node03 |
| 角色 | JobManager TaskManager | TaskManager | TaskManager |

下载地址

解压命令

bash 复制代码
tar xzvf flink-1.19.0-bin-scala_2.12.tgz

2.3 编辑相关配置信息

分别在 node01 、 node02以及 node03上

bash 复制代码
cd flink-1.19.0/conf
vim config.yaml

JobManager节点地址.

jobmanager.rpc.address: node01

jobmanager.bind-host: 0.0.0.0

rest.address: node01

rest.bind-address: 0.0.0.0

TaskManager节点地址.需要配置为当前机器名

taskmanager.bind-host: 0.0.0.0

taskmanager.host: node01

bash 复制代码
vim workers

node01

node02

node03

bash 复制代码
vim masters

node01:8081

注意,在 node02 和 node03节点上,只需要编辑对应的 config.yaml 文件中的taskmanager.host属性,node02改为 node02,node03 改为 node03.

bash 复制代码
bin/start-cluster.sh

3,访问 webUI

访问 jobManager 所在的 8081 端口,即可打开相关管理页面

http://node01:8081/#/overview

4,问题

如果外部机器无法访问上述地址。可能是防火墙的原因

放通 8081 的防火墙就行。

相关推荐
Ray.19985 小时前
Flink 的核心特点和概念
大数据·数据仓库·数据分析·flink
极客先躯5 小时前
如何提升flink的处理速度?
大数据·flink·提高处理速度
BestandW1shEs5 小时前
快速入门Flink
java·大数据·flink
Ray.19989 小时前
Flink在流处理中,为什么还会有窗口的概念呢
大数据·flink
抛砖者9 小时前
3.Flink中重要API的使用
大数据·flink
金州饿霸9 小时前
Flink运行时架构
大数据·flink
金州饿霸9 小时前
Flink中的时间和窗口
大数据·flink
viperrrrrrrrrr71 天前
大数据学习(40)- Flink执行流
大数据·学习·flink
TDengine (老段)2 天前
TDengine 做为 FLINK 数据源技术参考手册
大数据·数据库·flink·时序数据库·tdengine·涛思数据
Leven1995273 天前
Flink(八):DataStream API (五) Join
大数据·flink