Flink集群搭建

(1)JAVA_HOME 配置

conf/flink-conf.yaml env.java.home

(2)与Hadoop关联,如果确认使用Hadoop相关功能,需要关注对应的版本。如果不使用,则随意

使用flink版本

下载最新版本后,将存档复制到您的主节点并解压缩它:

tar xzf flink-.tgz
cd flink-

(3)配置Flink

编辑conf / flink-conf.yaml为集群配置Flink

1.设置 jobmanager.rpc.address 密钥以指向您的主节点

2.内存设置

jobmanager.memory.process.size 主节点flink最大内存 (MB)

taskmanager.memory.process.size 工作节点flink最大内存(MB)

3.提供集群中所有用作工作的节点(即运行TaskManager的节点)

编辑文件 conf / workers 并输入每个工作程序节点的IP /主机名。

示例:

三个节点(IP地址从10.0.0.1 到10.0.0.3且主机名master,worker1,worker2)

的设置,并显示了配置文件的内容

/path/to/flink/conf/flink-conf.yaml

jobmanager.rpc.address: 10.0.0.1

/path/to/flink/conf/workers

10.0.0.2

10.0.0.3

4.每台 slot 数量设置

每台计算机可用的CPU数(taskmanager.numberOfTaskSlots)

5.集群中的cpu数量总数

parallelism.default

6.临时目录

io.tmp.dirs

(4)启动flink/停止flink

前提: 必须能够ssh所有节点(jobManager)

bin/start-cluster.sh

bin/stop-cluster.sh

(5)添加jobmanager/taskmanager 到集群

使用 bin/jobmanager.sh 或 bin/taskmanager.sh

添加jobmanager:

bin/jobmanager.sh ((start|start-foreground) [host] [webui-port])|stop|stop-all

添加TaskManager

bin/taskmanager.sh start|start-foreground|stop|stop-all

相关推荐
天远数科1 小时前
前端全栈进阶:使用 Node.js Crypto 模块处理 AES 加密与天远API数据聚合
大数据·api
天远API1 小时前
后端进阶:使用 Go 处理天远API的 KV 数组结构与并发风控
大数据·api
千匠网络1 小时前
S2B供应链平台:优化资源配置,推动产业升级
大数据·人工智能·产品运营·供应链·s2b
WX-bisheyuange1 小时前
基于Spring Boot的智慧校园管理系统设计与实现
java·大数据·数据库·毕业设计
AI营销快线2 小时前
AI如何每日自动生成大量高质量营销素材?
大数据·人工智能
KKKlucifer2 小时前
从 “人工标注” 到 “AI 驱动”:数据分类分级技术的效率革命
大数据·人工智能·分类
天远云服2 小时前
Spring Boot 金融实战:如何清洗天远API的 KV 数组格式风控数据
大数据·api
我爱鸢尾花2 小时前
第十四章聚类方法理论及Python实现
大数据·python·机器学习·数据挖掘·数据分析·聚类
数据猿4 小时前
【金猿人物展】涛思数据创始人、CEO陶建辉:实现AI时代时序数据库向“数据平台”的转型
大数据·数据库·人工智能·时序数据库·涛思数据
GIS数据转换器4 小时前
2025无人机遥感新国标解读
大数据·科技·安全·机器学习·无人机·智慧城市