flink集群部署

虚拟机配置

bigdata-hmaster 192.168.135.112 4核心 32GB

bigdata-hnode1 192.168.135.113 4核心 16GB

bigdata-hnode2 192.168.135.114 4核心 16GB

安装包:https://dlcdn.apache.org/flink/flink-1.17.1/flink-1.17.1-bin-scala_2.12.tgz

放到/usr/lcoal/lib目录下,并解压

tar -zxvf flink-1.17.1-bin-scala_2.12.tgz

1、配置文件

masters、workers、flink-conf.yaml

flink-conf.yaml

具体配置

yaml 复制代码
jobmanager.rpc.address: bigdata-hmaster
jobmanager.rpc.port: 6123
jobmanager.bind-host: 0.0.0.0
jobmanager.memory.process.size: 1600m
taskmanager.bind-host: 0.0.0.0
taskmanager.memory.process.size: 8192m
taskmanager.numberOfTaskSlots: 4
parallelism.default: 1
state.savepoints.dir: file:///tmp/flink/savepoint
jobmanager.execution.failover-strategy: region
rest.port: 8181
rest.address: 0.0.0.0
rest.bind-address: 0.0.0.0

参数解释

yaml 复制代码
jobmanager.rpc.address:JobManager的RPC(远程过程调用)地址,用于与客户端和TaskManager通信。
jobmanager.rpc.port:JobManager的RPC端口,用于与客户端和TaskManager通信。
taskmanager.numberOfTaskSlots:每个TaskManager上可用的任务槽数量,用于并行执行任务。
taskmanager.memory.process.size:TaskManager进程的总共可用内存大小,可以设置为"2g"、"1g"等形式。
taskmanager.memory.task.heap.size:每个任务的堆内存大小,用于存储任务的对象。
taskmanager.memory.task.off-heap.size:每个任务的堆外内存大小,用于存储非堆对象。
parallelism.default:默认并行度,用于指定未明确设置并行度的任务的并行执行数量。
state.checkpoints.dir:检查点存储路径,用于持久化任务的状态,以便在发生故障时进行恢复。
state.backend:状态后端,用于决定如何管理和存储任务的状态数据。
metrics.reporters:指定要使用的度量报告器的列表,用于收集和展示任务运行过程中的度量数据。

master

bash 复制代码
bigdata-hmaster:8181

workers

bash 复制代码
bigdata-hnode1
bigdata-hnode2

2、配置环境变量并启动

bash 复制代码
vim /etc/profile

export FLINK_HOME=/usr/local/lib/flink-1.17.1
export PATH=$PATH:$FLINK_HOME/bin

source /etc/profile

start-cluster.sh

stop-cluster.sh

相关推荐
在未来等你2 小时前
Kafka面试精讲 Day 15:跨数据中心复制与灾备
大数据·分布式·面试·kafka·消息队列
阿里云大数据AI技术4 小时前
Lazada 如何用实时计算 Flink + Hologres 构建实时商品选品平台
flink
计算机编程-吉哥4 小时前
大数据毕业设计-基于Python的中文起点网小说数据分析平台(高分计算机毕业设计选题·定制开发·真正大数据)
大数据·hadoop·计算机毕业设计选题·机器学习毕业设计·大数据毕业设计·大数据毕业设计选题推荐·大数据毕设项目
阿里云大数据AI技术4 小时前
淘宝闪购基于Flink&Paimon的Lakehouse生产实践:从实时数仓到湖仓一体化的演进之路
数据库·flink
鸿乃江边鸟5 小时前
Flink中的 BinaryRowData 以及大小端
大数据·sql·flink
MicroTech20256 小时前
微算法科技(NASDAQ: MLGO)采用量子相位估计(QPE)方法,增强量子神经网络训练
大数据·算法·量子计算
b***25116 小时前
深圳比斯特|多维度分选:圆柱电池品质管控的自动化解决方案
大数据·人工智能
Flink_China6 小时前
Flink Agents:基于Apache Flink的事件驱动AI智能体框架
大数据·flink
鼠鼠我捏,要死了捏8 小时前
深入解析 Apache Flink Checkpoint 与 Savepoint 原理与最佳实践
flink·checkpoint·savepoint
jiedaodezhuti8 小时前
Flink Checkpoint失败问题分析与解决方案
大数据·flink