Flink学习(八)-Flink 集群搭建

1,准备三台机器

装好 jdk 等必要的组件。

注意,由于本身没有额外的 dns做转发。因此,需要在每台机器的 host 文件里,配置好相关 ip

具体方法

bash 复制代码
vim /etc/hosts

2,flink做配置

2.1 资源规划

|---------------|------------------------|-------------|-------------|
| 节点服务器 | node01 | node02 | node03 |
| 角色 | JobManager TaskManager | TaskManager | TaskManager |

下载地址

解压命令

bash 复制代码
tar xzvf flink-1.19.0-bin-scala_2.12.tgz

2.3 编辑相关配置信息

分别在 node01 、 node02以及 node03上

bash 复制代码
cd flink-1.19.0/conf
vim config.yaml

JobManager节点地址.

jobmanager.rpc.address: node01

jobmanager.bind-host: 0.0.0.0

rest.address: node01

rest.bind-address: 0.0.0.0

TaskManager节点地址.需要配置为当前机器名

taskmanager.bind-host: 0.0.0.0

taskmanager.host: node01

bash 复制代码
vim workers

node01

node02

node03

bash 复制代码
vim masters

node01:8081

注意,在 node02 和 node03节点上,只需要编辑对应的 config.yaml 文件中的taskmanager.host属性,node02改为 node02,node03 改为 node03.

bash 复制代码
bin/start-cluster.sh

3,访问 webUI

访问 jobManager 所在的 8081 端口,即可打开相关管理页面

http://node01:8081/#/overview

4,问题

如果外部机器无法访问上述地址。可能是防火墙的原因

放通 8081 的防火墙就行。

相关推荐
何升曜6 小时前
Flink Slot 分配机制深度解析:从申请到部署的完整链路
flink
我变秃了也没变强1 天前
standalone模式部署flink集群
flink·apache
渣渣盟1 天前
Flink 流式写入文件终极指南:从 Row Format 到 Bucket 分区的深度剖析
大数据·flink
CIO_Alliance1 天前
AI算法系列(3)| 实时数据管道:CDC+Flink实现库存异动秒级响应
大数据·人工智能·flink
渣渣盟2 天前
Flink 写入 Redis 实战:数据模型选型、连接池调优与常见坑
大数据·redis·flink
渣渣盟3 天前
Flink + Kafka 数据写入实战:从API调用到端到端一致性精讲
flink·kafka·linq
TDengine (老段)7 天前
TDengine 第三方工具 — Telegraf、Kafka Connect、Flink、Spark
大数据·数据库·物联网·flink·kafka·时序数据库·tdengine
头茬韭菜8 天前
第 4 篇:「Fluss + Flink 集成实战」—— Catalog、Source 与 Sink
大数据·python·flink·fluss
阿里云大数据AI技术10 天前
官宣|Apache Fluss 毕业成为顶级项目,湖流一体开启 Agentic Lake 全面实时化时代
人工智能·flink
Blossom i10 天前
分布式编程实验二:Flink安装与编程实践(头歌云客)
大数据·分布式·flink