Flink搭建

目录

一、standalone模式

[二、Flink on Yarn模式](#二、Flink on Yarn模式)

---

一、standalone模式

1. 解压安装Flink

   [root@bigdata1 software]# tar -zxvf flink-1.14.0-bin-scala_2.12.tgz -C /opt/module/
   [root@bigdata1 module]# mv flink-1.14.0/ flink-standalone

2.进入conf修改flink-conf.yaml

jobmanager.rpc.address: bigdata1

3.修改wokers

[root@bigdata1 conf]# vim workers
bigdata1
bigdata2
bigdata3

4.分发到集群其他节点

[root@bigdata1 module]# rsync -av /opt/module/flink-standalone/ bigdata2:/opt/module/flink-standalone/
[root@bigdata1 module]# rsync -av /opt/module/flink-standalone/ bigdata3:/opt/module/flink-standalone/

5.启动Flink集群命令

[root@bigdata1 flink-standalone]# bin/start-cluster.sh

6.访问http://主机:8081可以对flink集群和任务进行监控

http://bigdata1:8081

7.停止Flink集群命令

bin/stop-cluster.sh

二、Flink on Yarn模式

1.解压安装

[root@bigdata1 software]# tar -zxvf /opt/software/flink-1.14.0-bin-scala_2.12.tgz -C /opt/module/
[root@bigdata1 module]# mv flink-1.14.0/ flink-yarn

2.配置环境变量

vim /etc/profile

#配置环境变量HADOOP_CLASSPATH, 如果前面已经配置可以忽略。
#export HADOOP_CLASSPATH=`hadoop classpath`
#FLINK_HOME
export FLINK_HOME=/opt/module/flink-yarn
export PATH=$PATH:$FLINK_HOME/bin
export HADOOP_CLASSPATH=`hadoop classpath`
export HADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop

3.启动Hadoop集群

Flink on yarn 基于Hadoop集群的yarn