flink集群搭建 详细教程

一、环境准备

1、准备三台服务器

三台服务器ip

115.120.227.194 jobmanger

123.60.154.232 taskmanger

36.111.173.249 taskmanger

2、给三台主机分别配置主机名

#第一台机器
hostnamectl set-hostname hadoop01
 
#第二台机器
hostnamectl set-hostname hadoop02
 
#第三台机器
hostnamectl set-hostname hadoop03

3、给三台服务器配置域名，三台配置一样的

#打开配置文件
vim /etc/hosts
 
#文件中添加以下内容
115.120.227.194  hadoop01
123.60.154.232   hadoop02
36.111.173.249   hadoop03
 
#保存文件
:wq!

4、关闭防火墙 三台机器都要操作

sudo systemctl stop firewalld

5、创建用户和用户组 三台机器都要操作

#创建hadoop用户组
groupadd hadoop
#创建hadoop用户，并归属于hadoop用户组
useradd -m -g hadoop hadoop
#设置hadoop用户密码
passwd hadoop

6、创建安装目录 三台机器都要操作

mkdir csn/data
cd csn
chown -R hadoop:hadoop data
#后续所有操作均使用hadoop用户
su - hadoop

7、配置服务器免密登录 三台机器都要操作

cd /home/hadoop/.ssh
ssh-keygen -t rsa 
#输入3次回车
#拷贝当前机器ssh公钥信息至另外两台虚拟机
ssh-copy-id hadoop01 #hadoop01需要拷贝至自己机器，不然hdfs-start.sh报错
ssh-copy-id hadoop02
ssh-copy-id hadoop03

5、将包上传到服务器上

二、安装

1、解压安装包 三台都要操作

tar -zxvf flink-1.17.2-bin-scala_2.12.tgz

2、修改配置文件 三台都要操作，三台都是以下内容

#打开配置文件
vi flink.conf
#修改以下内容
jobmanager.rpc.address: hadoop01
jobmanager.bind-host: 0.0.0.0
taskmanager.bind-host: 0.0.0.0
taskmanager.host: hadoop02,hadoop03
rest.address: hadoop01
rest.bind-address: 0.0.0.0


#修改workers文件 
hadoop02
hadoop03

#修改master文件
hadoop01:8081

3、在第一台机器hadoop01上启动集群

./bin/start-cluster.sh

4、分别在三台机器上查看启动情况

jps