Flink集群搭建

(1)JAVA_HOME 配置

conf/flink-conf.yaml env.java.home

(2)与Hadoop关联,如果确认使用Hadoop相关功能,需要关注对应的版本。如果不使用,则随意

使用flink版本

下载最新版本后,将存档复制到您的主节点并解压缩它:

tar xzf flink-.tgz
cd flink-

(3)配置Flink

编辑conf / flink-conf.yaml为集群配置Flink

1.设置 jobmanager.rpc.address 密钥以指向您的主节点

2.内存设置

jobmanager.memory.process.size 主节点flink最大内存 (MB)

taskmanager.memory.process.size 工作节点flink最大内存(MB)

3.提供集群中所有用作工作的节点(即运行TaskManager的节点)

编辑文件 conf / workers 并输入每个工作程序节点的IP /主机名。

示例:

三个节点(IP地址从10.0.0.1 到10.0.0.3且主机名master,worker1,worker2)

的设置,并显示了配置文件的内容

/path/to/flink/conf/flink-conf.yaml

jobmanager.rpc.address: 10.0.0.1

/path/to/flink/conf/workers

10.0.0.2

10.0.0.3

4.每台 slot 数量设置

每台计算机可用的CPU数(taskmanager.numberOfTaskSlots)

5.集群中的cpu数量总数

parallelism.default

6.临时目录

io.tmp.dirs

(4)启动flink/停止flink

前提: 必须能够ssh所有节点(jobManager)

bin/start-cluster.sh

bin/stop-cluster.sh

(5)添加jobmanager/taskmanager 到集群

使用 bin/jobmanager.sh 或 bin/taskmanager.sh

添加jobmanager:

bin/jobmanager.sh ((start|start-foreground) [host] [webui-port])|stop|stop-all

添加TaskManager

bin/taskmanager.sh start|start-foreground|stop|stop-all

相关推荐
kaomiao202519 分钟前
空间信息与数字技术和传统GIS专业有何不同?
大数据·信息可视化·数据分析
IT研究室44 分钟前
大数据毕业设计选题推荐-基于大数据的健康与生活方式数据可视化分析系统-Spark-Hadoop-Bigdata
大数据·hadoop·spark·毕业设计·源码·数据可视化·bigdata
尺度商业1 小时前
2025服贸会“海淀之夜”,点亮“科技”与“服务”底色
大数据·人工智能·科技
eqwaak01 小时前
科技信息差(9.13)
大数据·开发语言·人工智能·华为·语言模型
C_V_Better2 小时前
Elasticsearch 创建索引别名的正确姿势
大数据·elasticsearch
在未来等你2 小时前
Kafka面试精讲 Day 16:生产者性能优化策略
大数据·分布式·面试·kafka·消息队列
王大帅の王同学2 小时前
Thinkphp6接入讯飞星火大模型Spark Lite完全免费的API
大数据·分布式·spark
fanstuck9 小时前
基于大模型的个性化推荐系统实现探索与应用
大数据·人工智能·语言模型·数据挖掘
IT学长编程11 小时前
计算机毕业设计 基于大数据技术的医疗数据分析与研究 Python 大数据毕业设计 Hadoop毕业设计选题【附源码+文档报告+安装调试】
大数据·hadoop·机器学习·数据分析·毕业设计·毕业论文·医疗数据分析
lwprain11 小时前
龙蜥8.10中spark各种集群及单机模式的搭建spark3.5.6(基于hadoop3.3.6集群)
大数据·ajax·spark