Flink集群搭建

(1)JAVA_HOME 配置

conf/flink-conf.yaml env.java.home

(2)与Hadoop关联,如果确认使用Hadoop相关功能,需要关注对应的版本。如果不使用,则随意

使用flink版本

下载最新版本后,将存档复制到您的主节点并解压缩它:

tar xzf flink-.tgz
cd flink-

(3)配置Flink

编辑conf / flink-conf.yaml为集群配置Flink

1.设置 jobmanager.rpc.address 密钥以指向您的主节点

2.内存设置

jobmanager.memory.process.size 主节点flink最大内存 (MB)

taskmanager.memory.process.size 工作节点flink最大内存(MB)

3.提供集群中所有用作工作的节点(即运行TaskManager的节点)

编辑文件 conf / workers 并输入每个工作程序节点的IP /主机名。

示例:

三个节点(IP地址从10.0.0.1 到10.0.0.3且主机名master,worker1,worker2)

的设置,并显示了配置文件的内容

/path/to/flink/conf/flink-conf.yaml

jobmanager.rpc.address: 10.0.0.1

/path/to/flink/conf/workers

10.0.0.2

10.0.0.3

4.每台 slot 数量设置

每台计算机可用的CPU数(taskmanager.numberOfTaskSlots)

5.集群中的cpu数量总数

parallelism.default

6.临时目录

io.tmp.dirs

(4)启动flink/停止flink

前提: 必须能够ssh所有节点(jobManager)

bin/start-cluster.sh

bin/stop-cluster.sh

(5)添加jobmanager/taskmanager 到集群

使用 bin/jobmanager.sh 或 bin/taskmanager.sh

添加jobmanager:

bin/jobmanager.sh ((start|start-foreground) host webui-port)|stop|stop-all

添加TaskManager

bin/taskmanager.sh start|start-foreground|stop|stop-all

相关推荐
国科安芯15 分钟前
抗辐射MCU在低轨卫星电源管理单元中的电压监测与保护策略研究
大数据·单片机·嵌入式硬件·电源管理·低轨卫星·抗辐射·星间链路
4SAPI16 分钟前
2026年大模型API接入选型指南:企业与个人用户的架构、稳定性与成本考量
大数据·开发语言·数据库·人工智能·架构·php
皮卡丘不断更25 分钟前
视频自动剪、内容自动发:我的多平台营销自动化工作台
大数据·运维·自动化·视频剪辑·营销自动化·多平台运营·creatorhub
147API30 分钟前
蒸馏模型上线后怎样设置教师回退,避免失败请求反复烧钱
大数据·人工智能·深度学习·机器学习·蒸馏
ACME204431 分钟前
商办资产流通加速 商业拍卖重构定价逻辑
大数据
! 冰封雪莲 !1 小时前
站房“智慧大脑” | Smart ET2000 污染源自动监控数智终端
大数据·人工智能·万维盈创·ai环境大数据
维双云1 小时前
小程序制作哪个平台好 ?哪种类型的小程序更容易上手?
大数据
蜘蛛小助理1 小时前
AI 自动推导业务自动化规则实战教程|多维表格低代码自动化落地
大数据·人工智能·低代码·自动化·多维表格·蜘蛛表格
这个DBA有点耶1 小时前
时间序列数据库选型2026:5款主流产品深度对比与场景适配
大数据·数据库·程序人生·架构·时序数据库·dba·数据库管理员
XiaoKe20261 小时前
数海云擎:以内外双向数智化锻造竞争壁垒,跑通销售全链路
大数据·人工智能·科技·软件需求