Flink on Yarn安装配置,大数据技能竞赛(容器环境)

任务A:大数据平台搭建(容器环境)(15分)

环境搭建请看这篇文章大数据模块A环境搭建

前提条件已经在容器里搭建完hadoop了,没搭建的请看这篇Hadoop 完全分布式安装配置

服务端登录地址详见各任务服务端说明。

补充说明:宿主机可通过Asbru工具或SSH客户端进行SSH访问;

相关软件安装包在宿主机的/opt目录下,请选择对应的安装包进行安装,用不到的可忽略;

所有任务中应用命令必须采用绝对路径;

进入Master节点的方式为

docker exec -it master /bin/bash

进入Slave1节点的方式为

docker exec -it slave1 /bin/bash

进入Slave2节点的方式为

docker exec -it slave2 /bin/bash

三个容器节点的root密码均为123456

提前准备好flink-1.14.0-bin-scala_2.12.tgz放在宿主机的/opt/下(模拟的自己准备,比赛时会提供)

Hadoop 完全分布式安装配置

已完成搭建Hadoop完全分布式安装配置

本任务需要使用root用户完成相关配置,已安装Hadoop及需要配置前置环境,具体要求如下:

1、 从宿主机/opt目录下将文件flink-1.14.0-bin-scala_2.12.tgz复制到容器Master中的/opt/software(若路径不存在,则需新建)中,将Flink包解压到路径/opt/module中(若路径不存在,则需新建),将完整解压命令复制粘贴至客户端桌面【Release\任务A提交结果.docx】中对应的任务序号下;

第一步:从宿主机/opt目录下将文件flink-1.14.0-bin-scala_2.12.tgz复制到容器Master中的/opt/software(若路径不存在,则需新建)中

bash 复制代码
[root@Bigdata ~]# docker cp /opt/flink-1.14.0-bin-scala_2.12.tgz master:/opt/software

第二步:将Flink包解压到路径/opt/module中(若路径不存在,则需新建)

bash 复制代码
[root@master ~]# tar zxvf  /opt/software/flink-1.14.0-bin-scala_2.12.tgz -C /opt/module/

2、 修改容器中/etc/profile文件,设置Flink环境变量并使环境变量生效。在容器中/opt目录下运行命令flink --version,将命令与结果截图粘贴至客户端桌面【Release\任务A提交结果.docx】中对应的任务序号下;

第一步:重命名

bash 复制代码
[root@master ~]# mv /opt/module/flink-1.14.0 /opt/module/flink

第二步: 修改容器中/etc/profile文件,设置Flink环境变量

bash 复制代码
在文件末尾添加
#FLINK_HOME
export FLINK_HOME=/opt/module/flink
export PATH=$PATH:$FLINK_HOME/bin
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export HADOOP_CLASSPATH=`hadoop classpath`

第三步: 使环境变量生效

bash 复制代码
[root@master ~]# source /etc/profile

第四步:在容器中/opt目录下运行命令flink --version

bash 复制代码
[root@master ~]# cd /opt/
[root@master opt]# flink --version
Version: 1.14.0, Commit ID: 460b386
[root@master opt]# 
复制代码
[root@master opt]# 

3、 开启Hadoop集群,在yarn上以per job模式(即Job分离模式,不采用Session模式)运行 $FLINK_HOME/examples/batch/WordCount.jar,将运行结果最后10行截图粘贴至客户端桌面【Release\任务A提交结果.docx】中对应的任务序号下。

第一步:配置flink

在flink-conf.yaml文件末尾插入

vi /opt/module/flink/conf/flink-conf.yaml

XML 复制代码
classloader.check-leaked-classloader: false

第二步:开启Hadoop集群

bash 复制代码
start-all.sh

第三步:在yarn上以per job模式(即Job分离模式,不采用Session模式)运行 $FLINK_HOME/examples/batch/WordCount.jar

bash 复制代码
[root@master ~]# flink run -m yarn-cluster -p 2 -yjm 2G -ytm 2G $FLINK_HOME/examples/batch/WordCount.jar

声明:此文章为个人学习笔记,如文章有问题欢迎留言探讨,也希望您的指正 !

相关推荐
wudl556614 小时前
flink sql 所有函数详细用例
大数据·sql·flink
luoganttcc15 小时前
是凯恩斯主义主导 西方的经济决策吗
大数据·人工智能·金融·哲学
武子康15 小时前
大数据-130 - Flink CEP 详解 - 捕获超时事件提取全解析:从原理到完整实战代码教程 恶意登录案例实现
大数据·后端·flink
分布式存储与RustFS16 小时前
存算一体架构的先行者:RustFS在异构计算环境下的探索与实践
大数据·人工智能·物联网·云原生·对象存储·minio·rustfs
智能化咨询17 小时前
Flink受管状态自定义序列化的可演进设计与未来趋势
flink
yumgpkpm18 小时前
CMP (类ClouderaCDP7.3(404次编译) )华为鲲鹏Aarch64(ARM)信创环境 查询2100w行 hive 查询策略
数据库·数据仓库·hive·hadoop·flink·mapreduce·big data
wudl556621 小时前
Flink 1.20 flink-config.yml 配置详解
大数据·flink
华东数交21 小时前
企业与国有数据资产:入表全流程管理及资产化闭环理论解析
大数据·人工智能
B站_计算机毕业设计之家1 天前
计算机毕业设计:Python农业数据可视化分析系统 气象数据 农业生产 粮食数据 播种数据 爬虫 Django框架 天气数据 降水量(源码+文档)✅
大数据·爬虫·python·机器学习·信息可视化·课程设计·农业
Apache Flink1 天前
Flink Agents 0.1.0 发布公告
大数据·flink