flink集群部署

虚拟机配置

bigdata-hmaster 192.168.135.112 4核心 32GB

bigdata-hnode1 192.168.135.113 4核心 16GB

bigdata-hnode2 192.168.135.114 4核心 16GB

安装包:https://dlcdn.apache.org/flink/flink-1.17.1/flink-1.17.1-bin-scala_2.12.tgz

放到/usr/lcoal/lib目录下,并解压

tar -zxvf flink-1.17.1-bin-scala_2.12.tgz

1、配置文件

masters、workers、flink-conf.yaml

flink-conf.yaml

具体配置

yaml 复制代码
jobmanager.rpc.address: bigdata-hmaster
jobmanager.rpc.port: 6123
jobmanager.bind-host: 0.0.0.0
jobmanager.memory.process.size: 1600m
taskmanager.bind-host: 0.0.0.0
taskmanager.memory.process.size: 8192m
taskmanager.numberOfTaskSlots: 4
parallelism.default: 1
state.savepoints.dir: file:///tmp/flink/savepoint
jobmanager.execution.failover-strategy: region
rest.port: 8181
rest.address: 0.0.0.0
rest.bind-address: 0.0.0.0

参数解释

yaml 复制代码
jobmanager.rpc.address:JobManager的RPC(远程过程调用)地址,用于与客户端和TaskManager通信。
jobmanager.rpc.port:JobManager的RPC端口,用于与客户端和TaskManager通信。
taskmanager.numberOfTaskSlots:每个TaskManager上可用的任务槽数量,用于并行执行任务。
taskmanager.memory.process.size:TaskManager进程的总共可用内存大小,可以设置为"2g"、"1g"等形式。
taskmanager.memory.task.heap.size:每个任务的堆内存大小,用于存储任务的对象。
taskmanager.memory.task.off-heap.size:每个任务的堆外内存大小,用于存储非堆对象。
parallelism.default:默认并行度,用于指定未明确设置并行度的任务的并行执行数量。
state.checkpoints.dir:检查点存储路径,用于持久化任务的状态,以便在发生故障时进行恢复。
state.backend:状态后端,用于决定如何管理和存储任务的状态数据。
metrics.reporters:指定要使用的度量报告器的列表,用于收集和展示任务运行过程中的度量数据。

master

bash 复制代码
bigdata-hmaster:8181

workers

bash 复制代码
bigdata-hnode1
bigdata-hnode2

2、配置环境变量并启动

bash 复制代码
vim /etc/profile

export FLINK_HOME=/usr/local/lib/flink-1.17.1
export PATH=$PATH:$FLINK_HOME/bin

source /etc/profile

start-cluster.sh

stop-cluster.sh

相关推荐
阿里云大数据AI技术2 小时前
ES Serverless 8.17王牌发布:向量检索「火力全开」,智能扩缩「秒级响应」!
大数据·运维·serverless
Mikhail_G2 小时前
Python应用变量与数据类型
大数据·运维·开发语言·python·数据分析
G皮T3 小时前
【Elasticsearch】映射:null_value 详解
大数据·elasticsearch·搜索引擎·映射·mappings·null_value
大霸王龙4 小时前
软件工程的软件生命周期通常分为以下主要阶段
大数据·人工智能·旅游
点赋科技4 小时前
沙市区举办资本市场赋能培训会 点赋科技分享智能消费新实践
大数据·人工智能
YSGZJJ5 小时前
股指期货技术分析与短线操作方法介绍
大数据·人工智能
Doker 多克5 小时前
Flink CDC —部署模式
大数据·flink
Guheyunyi5 小时前
监测预警系统重塑隧道安全新范式
大数据·运维·人工智能·科技·安全
酷爱码6 小时前
Spring Boot 整合 Apache Flink 的详细过程
spring boot·flink·apache
问道飞鱼6 小时前
Flink 高可用集群部署指南
flink·部署·批处理·流式批处理