standalone模式部署flink集群

节点:192.168.10.10,192.168.10.20,192.168.10.30

一、前置操作:关闭防火墙、selinux,安装jdk1.8(根据flink版本安装对应jdk)配置节点间免密,配置各主机hosts

1、关闭防火墙和selinux

查看防火墙状态

systemctl status firewalld

关闭防火墙及永久关闭

systemctl stop firewalld && systemctl disable firewalld

查看selinux状态

getenforce

输出为disabled则为关闭状态,未关闭可下面操作

临时关闭setenforce 0 永久关闭 sed -i 's/SELINUX=enforcing/SELINUX=disabled/' /etc/selinux/config

2、安装jdk1.8

tar -zxf jdk-8u202-linux-x64.tar.gz

mv jdk1.8.0_202 /usr/local/jdk1.8.0_202

#配置环境变量

cat >> /etc/profile <<EOF

export JAVA_HOME=/usr/local/jdk1.8.0_202

export JRE_HOME=\${JAVA_HOME}/jre

export CLASSPATH=.:\{JAVA_HOME}/lib:\\{JRE_HOME}/lib

export PATH=\{JAVA_HOME}/bin:\\PATH

EOF

刷新环境变量

. /etc/profile

java -version

3、配置各主机免密

各个主机均进行以下操作

生成公钥,并将其追加到授权文件中生成公钥,并将其追加到授权文件中

ssh-keygen -t rsa

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

将公钥分发给其他主机

scp ~/.ssh/id_rsa.pub root@192.168.10.20:~/

scp ~/.ssh/id_rsa.pub root@192.168.10.30:~/

将公钥追加到授权文件中

cat ~/id_rsa.pub >> ~/.ssh/authorized_keys

检验免密登录

ssh root@192.168.10.20

4、配置各主机hosts

cat >> /etc/hosts << EOF

192.168.10.10 m1

192.168.10.20 s1

192.168.10.30 s2

EOF

二、部署flink

1、将压缩包放到安装目录中,解压缩

tar -zxf flink-1.17.2-bin-scala_2.12.tgz

cd flink-1.17.2

2、各节点修改flink配置文件

/path/flink-1.17.2/conf/flink-conf.yaml和/path/flink-1.17.2/conf/workers

三个节点flink-conf.yaml中的jobmanager.rpc.address: localhost 修改为jobmanager.rpc.address: m1

在哪台节点启动就以哪个节点的主机名为主(本文以192.168.10.10为主节点启动),其他两个节点的jobmanager.rpc.address要与启动节点配置相同

rest.bind-address: localhost修改为rest.bind-address: 0.0.0.0

另外两个节点20和30/path/flink-1.17.2/conf/workers中

s1

s2

3、启动flink集群

cd flink-1.17.2

bin/start-cluster.sh

日志输出为

Starting cluster.

Starting standalonesession daemon on host m1.

Authorized users only. All activities may be monitored and reported.

Starting taskexecutor daemon on host s1.

Authorized users only. All activities may be monitored and reported.

Starting taskexecutor daemon on host s2.

则启动成功

4、停止flink集群

bin/stop-cluster.sh

5、网页访问flink Web UI界面

192.168.10.10:8081

相关推荐
且从容.4 天前
ubuntu安装flink
linux·ubuntu·flink
用户3610588626127 天前
Flink 内存分配源码深度剖析:从启动计算到运行时动态分配的完整链路
大数据·flink
Thomas21439 天前
flink paimon 参数 ignore_progress=true
大数据·flink
源图客9 天前
Apache Flink 2.3.0(最新版本)
大数据·flink·apache
abigalexy10 天前
Flink核心疑难问题、踩坑盲点-汇总
大数据·flink·big data·bigdata
Sayai10 天前
Kafka 跨数据中心日志同步实战:MirrorMaker 2 选型对比 + Flink 中继任务落地(双中心互备与消费者组隔离避坑)
大数据·运维·分布式·flink·kafka·消息队列·高可用
渣渣盟11 天前
Flink 状态管理深度剖析:从 KeyedState 到 RocksDB,状态如何存储、恢复与扩缩容
android·大数据·flink
代立冬12 天前
927 个 PR:Apache SeaTunnel 3.0.0 正式发布!AI 时代,数据集成正在迎来新的可能
人工智能·apache
@小匠12 天前
Flink + Iceberg 批量失败复盘:一次超时如何变成 Hive Metastore 锁泄漏
大数据·hive·flink
Sayai12 天前
Flink 日志解析任务性能优化实战:正则/Grok 预编译、Guava 缓存权重陷阱与 ES 写入隔离
java·大数据·性能优化·flink·实时计算