Flink学习(八)-Flink 集群搭建

1,准备三台机器

装好 jdk 等必要的组件。

注意,由于本身没有额外的 dns做转发。因此,需要在每台机器的 host 文件里,配置好相关 ip

具体方法

bash 复制代码
vim /etc/hosts

2,flink做配置

2.1 资源规划

|---------------|------------------------|-------------|-------------|
| 节点服务器 | node01 | node02 | node03 |
| 角色 | JobManager TaskManager | TaskManager | TaskManager |

下载地址

解压命令

bash 复制代码
tar xzvf flink-1.19.0-bin-scala_2.12.tgz

2.3 编辑相关配置信息

分别在 node01 、 node02以及 node03上

bash 复制代码
cd flink-1.19.0/conf
vim config.yaml

JobManager节点地址.

jobmanager.rpc.address: node01

jobmanager.bind-host: 0.0.0.0

rest.address: node01

rest.bind-address: 0.0.0.0

TaskManager节点地址.需要配置为当前机器名

taskmanager.bind-host: 0.0.0.0

taskmanager.host: node01

bash 复制代码
vim workers

node01

node02

node03

bash 复制代码
vim masters

node01:8081

注意,在 node02 和 node03节点上,只需要编辑对应的 config.yaml 文件中的taskmanager.host属性,node02改为 node02,node03 改为 node03.

bash 复制代码
bin/start-cluster.sh

3,访问 webUI

访问 jobManager 所在的 8081 端口,即可打开相关管理页面

http://node01:8081/#/overview

4,问题

如果外部机器无法访问上述地址。可能是防火墙的原因

放通 8081 的防火墙就行。

相关推荐
2501_9414037610 小时前
Python高性能图像识别与TensorFlow实战分享:深度学习模型优化与批量推理经验
flink
Bug快跑-11 天前
面向高并发场景的多语言异构系统架构演进与性能优化策略深度解析实践分享全过程方法论探索
flink
Hello.Reader2 天前
在 Flink Standalone 集群上运行 Flink CDC从下载到跑起一个 MySQL→Doris 同步任务
大数据·mysql·flink
A尘埃2 天前
Flink实时数据处理
大数据·flink·实时数据处理
expect7g3 天前
Paimon源码解读 -- PartialUpdateMerge
大数据·后端·flink
yumgpkpm3 天前
腾讯云TBDS与CDH迁移常见问题有哪些?建议由CDH迁移到CMP 7.13 平台(类Cloudera CDP,如华为鲲鹏 ARM 版)
hive·hadoop·zookeeper·flink·spark·kafka·hbase
Hello.Reader3 天前
使用 Flink CDC 搭建跨库 Streaming ETLMySQL + Postgres → Elasticsearch 实战
大数据·elasticsearch·flink
❀͜͡傀儡师4 天前
docker 部署Flink和传统部署
docker·容器·flink
Linux Huang4 天前
【Dinky】IDEA运行出现HistoryServer异常
java·hadoop·flink·intellij idea
渣渣盟4 天前
Flink分布式文件Sink实战解析
分布式·flink·scala·1024程序员节