Flink on Yarn安装配置,大数据技能竞赛（容器环境）

任务A：大数据平台搭建（容器环境）（15分）

前提条件已经在容器里搭建完hadoop了,没搭建的请看这篇Hadoop 完全分布式安装配置

服务端登录地址详见各任务服务端说明。

补充说明：宿主机可通过Asbru工具或SSH客户端进行SSH访问；

相关软件安装包在宿主机的/opt目录下，请选择对应的安装包进行安装，用不到的可忽略；

所有任务中应用命令必须采用绝对路径；

进入Master节点的方式为

docker exec -it master /bin/bash

进入Slave1节点的方式为

docker exec -it slave1 /bin/bash

进入Slave2节点的方式为

docker exec -it slave2 /bin/bash

三个容器节点的root密码均为123456

提前准备好flink-1.14.0-bin-scala_2.12.tgz放在宿主机的/opt/下（模拟的自己准备，比赛时会提供）

Hadoop 完全分布式安装配置

已完成搭建Hadoop完全分布式安装配置

Flink on Yarn安装配置

本任务需要使用root用户完成相关配置，已安装Hadoop及需要配置前置环境，具体要求如下：

1、从宿主机/opt目录下将文件flink-1.14.0-bin-scala_2.12.tgz复制到容器Master中的/opt/software（若路径不存在，则需新建）中,将Flink包解压到路径/opt/module中(若路径不存在，则需新建)，将完整解压命令复制粘贴至客户端桌面【Release\任务A提交结果.docx】中对应的任务序号下；

第一步：从宿主机/opt目录下将文件flink-1.14.0-bin-scala_2.12.tgz复制到容器Master中的/opt/software（若路径不存在，则需新建）中

bash 复制代码

[root@Bigdata ~]# docker cp /opt/flink-1.14.0-bin-scala_2.12.tgz master:/opt/software

第二步：将Flink包解压到路径/opt/module中(若路径不存在，则需新建)

bash 复制代码

[root@master ~]# tar zxvf  /opt/software/flink-1.14.0-bin-scala_2.12.tgz -C /opt/module/

2、修改容器中/etc/profile文件，设置Flink环境变量并使环境变量生效。在容器中/opt目录下运行命令flink --version，将命令与结果截图粘贴至客户端桌面【Release\任务A提交结果.docx】中对应的任务序号下；

第一步：重命名

bash 复制代码

[root@master ~]# mv /opt/module/flink-1.14.0 /opt/module/flink

第二步：修改容器中/etc/profile文件，设置Flink环境变量

bash 复制代码

在文件末尾添加
#FLINK_HOME
export FLINK_HOME=/opt/module/flink
export PATH=$PATH:$FLINK_HOME/bin
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export HADOOP_CLASSPATH=`hadoop classpath`

第三步：使环境变量生效

bash 复制代码

[root@master ~]# source /etc/profile

第四步：在容器中/opt目录下运行命令flink --version

bash 复制代码

[root@master ~]# cd /opt/
[root@master opt]# flink --version
Version: 1.14.0, Commit ID: 460b386
[root@master opt]#

复制代码

[root@master opt]#

3、开启Hadoop集群，在yarn上以per job模式（即Job分离模式，不采用Session模式）运行 $FLINK_HOME/examples/batch/WordCount.jar，将运行结果最后10行截图粘贴至客户端桌面【Release\任务A提交结果.docx】中对应的任务序号下。

第一步：配置flink

在flink-conf.yaml文件末尾插入

vi /opt/module/flink/conf/flink-conf.yaml

XML 复制代码

classloader.check-leaked-classloader: false

第二步：开启Hadoop集群

bash 复制代码

start-all.sh

第三步：在yarn上以per job模式（即Job分离模式，不采用Session模式）运行 $FLINK_HOME/examples/batch/WordCount.jar

bash 复制代码

[root@master ~]# flink run -m yarn-cluster -p 2 -yjm 2G -ytm 2G $FLINK_HOME/examples/batch/WordCount.jar

声明：此文章为个人学习笔记，如文章有问题欢迎留言探讨，也希望您的指正！