Flink学习(八)-Flink 集群搭建

1,准备三台机器

装好 jdk 等必要的组件。

注意,由于本身没有额外的 dns做转发。因此,需要在每台机器的 host 文件里,配置好相关 ip

具体方法

bash 复制代码
vim /etc/hosts

2,flink做配置

2.1 资源规划

|---------------|------------------------|-------------|-------------|
| 节点服务器 | node01 | node02 | node03 |
| 角色 | JobManager TaskManager | TaskManager | TaskManager |

下载地址

解压命令

bash 复制代码
tar xzvf flink-1.19.0-bin-scala_2.12.tgz

2.3 编辑相关配置信息

分别在 node01 、 node02以及 node03上

bash 复制代码
cd flink-1.19.0/conf
vim config.yaml

JobManager节点地址.

jobmanager.rpc.address: node01

jobmanager.bind-host: 0.0.0.0

rest.address: node01

rest.bind-address: 0.0.0.0

TaskManager节点地址.需要配置为当前机器名

taskmanager.bind-host: 0.0.0.0

taskmanager.host: node01

bash 复制代码
vim workers

node01

node02

node03

bash 复制代码
vim masters

node01:8081

注意,在 node02 和 node03节点上,只需要编辑对应的 config.yaml 文件中的taskmanager.host属性,node02改为 node02,node03 改为 node03.

bash 复制代码
bin/start-cluster.sh

3,访问 webUI

访问 jobManager 所在的 8081 端口,即可打开相关管理页面

http://node01:8081/#/overview

4,问题

如果外部机器无法访问上述地址。可能是防火墙的原因

放通 8081 的防火墙就行。

相关推荐
且从容.7 天前
ubuntu安装flink
linux·ubuntu·flink
用户3610588626129 天前
Flink 内存分配源码深度剖析:从启动计算到运行时动态分配的完整链路
大数据·flink
Thomas214311 天前
flink paimon 参数 ignore_progress=true
大数据·flink
源图客12 天前
Apache Flink 2.3.0(最新版本)
大数据·flink·apache
abigalexy13 天前
Flink核心疑难问题、踩坑盲点-汇总
大数据·flink·big data·bigdata
Sayai13 天前
Kafka 跨数据中心日志同步实战:MirrorMaker 2 选型对比 + Flink 中继任务落地(双中心互备与消费者组隔离避坑)
大数据·运维·分布式·flink·kafka·消息队列·高可用
渣渣盟14 天前
Flink 状态管理深度剖析:从 KeyedState 到 RocksDB,状态如何存储、恢复与扩缩容
android·大数据·flink
@小匠15 天前
Flink + Iceberg 批量失败复盘:一次超时如何变成 Hive Metastore 锁泄漏
大数据·hive·flink
Sayai15 天前
Flink 日志解析任务性能优化实战:正则/Grok 预编译、Guava 缓存权重陷阱与 ES 写入隔离
java·大数据·性能优化·flink·实时计算
渣渣盟15 天前
Flink SQL 流批一体:从 SQL 到执行计划,优化器如何工作?
大数据·sql·flink