flink的Standalone-HA模式安装

FlinkStandalone-HA模式安装指南

ApacheFlink的Standalone-HA(高可用)模式为生产环境提供了故障恢复能力,确保JobManager故障时作业能够自动恢复。以下是安装配置的关键步骤:

环境准备

首先确保所有节点已安装Java8+环境,并配置SSH免密登录。下载Flink二进制包并解压到集群所有节点相同目录下。

配置修改

1.conf/flink-conf.yaml核心配置:
```yaml
jobmanager.rpc.address:master-node
high-availability:zookeeper
high-availability.storageDir:hdfs://namenode:8020/flink/ha/
high-availability.zookeeper.quorum:zk1:2181,zk2:2181,zk3:2181
```

2.conf/masters文件指定主备JobManager:
```
master-node:8081
backup-node:8081
```

3.conf/workers文件列出所有TaskManager节点

ZooKeeper配置

Standalone-HA依赖ZooKeeper进行领导者选举和状态存储。需提前部署3节点ZooKeeper集群,并确保网络连通性。

启动集群

1.首先启动ZooKeeper服务
2.在HDFS上创建HA目录
3.在主节点执行`bin/start-cluster.sh`启动集群
4.通过`bin/historyserver.shstart`启动历史服务器(可选)

验证部署

访问主节点WebUI(默认8081端口)确认组件状态。提交测试作业后,可手动kill主JobManager进程,观察备节点是否自动接管,作业是否继续运行。

Standalone-HA模式虽不如YARN/K8s集成方案灵活,但配置简单,适合中小规模生产环境。注意定期清理HDFS上的HA目录,避免存储空间无限增长。

相关推荐
wj3055853787 小时前
课程 9:模型测试记录与 Prompt 策略
linux·人工智能·python·comfyui
abigriver7 小时前
打造 Linux 离线大模型级语音输入法:Whisper.cpp + 3090 显卡加速与 Rime 中英混输终极调优指南
linux·运维·whisper
wangqiaowq8 小时前
windows下nginx的安装
linux·服务器·前端
YYRAN_ZZU8 小时前
Petalinux新建自动脚本启动
linux
charlie1145141918 小时前
嵌入式Linux驱动开发pinctrl篇(1)——从寄存器到子系统:驱动演进之路
linux·运维·驱动开发
于小猿Sup9 小时前
VMware在Ubuntu22.04驱动Livox Mid360s
linux·c++·嵌入式硬件·自动驾驶
cen__y9 小时前
Linux12(Git01)
linux·运维·服务器·c语言·开发语言·git
不仙52010 小时前
VMware Workstation 26.0.0 在 Ubuntu 24.04 (内核 6.17.0) 上的安装与内核模块编译问题
linux·ubuntu·elasticsearch
AI视觉网奇11 小时前
linux 检索库 判断库是否支持
java·linux·服务器
dapeng-大鹏11 小时前
KVM+LVM 零停机在线扩容 Ubuntu 根分区:从磁盘添加到逻辑卷扩展完整
linux·运维·ubuntu·磁盘空间扩展