flink的Standalone-HA模式安装

FlinkStandalone-HA模式安装指南

ApacheFlink的Standalone-HA(高可用)模式为生产环境提供了故障恢复能力,确保JobManager故障时作业能够自动恢复。以下是安装配置的关键步骤:

环境准备

首先确保所有节点已安装Java8+环境,并配置SSH免密登录。下载Flink二进制包并解压到集群所有节点相同目录下。

配置修改

1.conf/flink-conf.yaml核心配置:
```yaml
jobmanager.rpc.address:master-node
high-availability:zookeeper
high-availability.storageDir:hdfs://namenode:8020/flink/ha/
high-availability.zookeeper.quorum:zk1:2181,zk2:2181,zk3:2181
```

2.conf/masters文件指定主备JobManager:
```
master-node:8081
backup-node:8081
```

3.conf/workers文件列出所有TaskManager节点

ZooKeeper配置

Standalone-HA依赖ZooKeeper进行领导者选举和状态存储。需提前部署3节点ZooKeeper集群,并确保网络连通性。

启动集群

1.首先启动ZooKeeper服务
2.在HDFS上创建HA目录
3.在主节点执行`bin/start-cluster.sh`启动集群
4.通过`bin/historyserver.shstart`启动历史服务器(可选)

验证部署

访问主节点WebUI(默认8081端口)确认组件状态。提交测试作业后,可手动kill主JobManager进程,观察备节点是否自动接管,作业是否继续运行。

Standalone-HA模式虽不如YARN/K8s集成方案灵活,但配置简单,适合中小规模生产环境。注意定期清理HDFS上的HA目录,避免存储空间无限增长。

相关推荐
A小辣椒2 天前
TShark:Wireshark CLI 功能
linux
A小辣椒2 天前
TShark:基础知识
linux
AlfredZhao2 天前
OCI 明明分配了 200G 系统盘,为什么 df 只看到 30G?
linux·oci
AlfredZhao3 天前
vi 删除指定范围的行,不用再反复按 dd
linux·vi
用户9718356334663 天前
银河麒麟 KY10 申威(SW64) 安装 nginx-1.16.1-2.p01.ky10.sw_64.rpm 详细步骤
linux
猪脚踏浪3 天前
linux 拷贝文件或目录到指定的位置
linux
摇滚侠4 天前
Linux CentOS7 rpm 安装 MySQL 5.7
linux·运维·mysql
bush44 天前
嵌入式linux学习记录十四、术语
linux·嵌入式
载数而行5204 天前
Linux 11 动态监控指令top
linux
不会C语言的男孩4 天前
Linux 系统编程 · 第 8 章:进程基础
linux·c语言