Flink on Yarn安装配置,大数据技能竞赛(容器环境)

任务A:大数据平台搭建(容器环境)(15分)

环境搭建请看这篇文章大数据模块A环境搭建

前提条件已经在容器里搭建完hadoop了,没搭建的请看这篇Hadoop 完全分布式安装配置

服务端登录地址详见各任务服务端说明。

补充说明:宿主机可通过Asbru工具或SSH客户端进行SSH访问;

相关软件安装包在宿主机的/opt目录下,请选择对应的安装包进行安装,用不到的可忽略;

所有任务中应用命令必须采用绝对路径;

进入Master节点的方式为

docker exec -it master /bin/bash

进入Slave1节点的方式为

docker exec -it slave1 /bin/bash

进入Slave2节点的方式为

docker exec -it slave2 /bin/bash

三个容器节点的root密码均为123456

提前准备好flink-1.14.0-bin-scala_2.12.tgz放在宿主机的/opt/下(模拟的自己准备,比赛时会提供)

Hadoop 完全分布式安装配置

已完成搭建Hadoop完全分布式安装配置

本任务需要使用root用户完成相关配置,已安装Hadoop及需要配置前置环境,具体要求如下:

1、 从宿主机/opt目录下将文件flink-1.14.0-bin-scala_2.12.tgz复制到容器Master中的/opt/software(若路径不存在,则需新建)中,将Flink包解压到路径/opt/module中(若路径不存在,则需新建),将完整解压命令复制粘贴至客户端桌面【Release\任务A提交结果.docx】中对应的任务序号下;

第一步:从宿主机/opt目录下将文件flink-1.14.0-bin-scala_2.12.tgz复制到容器Master中的/opt/software(若路径不存在,则需新建)中

bash 复制代码
[root@Bigdata ~]# docker cp /opt/flink-1.14.0-bin-scala_2.12.tgz master:/opt/software

第二步:将Flink包解压到路径/opt/module中(若路径不存在,则需新建)

bash 复制代码
[root@master ~]# tar zxvf  /opt/software/flink-1.14.0-bin-scala_2.12.tgz -C /opt/module/

2、 修改容器中/etc/profile文件,设置Flink环境变量并使环境变量生效。在容器中/opt目录下运行命令flink --version,将命令与结果截图粘贴至客户端桌面【Release\任务A提交结果.docx】中对应的任务序号下;

第一步:重命名

bash 复制代码
[root@master ~]# mv /opt/module/flink-1.14.0 /opt/module/flink

第二步: 修改容器中/etc/profile文件,设置Flink环境变量

bash 复制代码
在文件末尾添加
#FLINK_HOME
export FLINK_HOME=/opt/module/flink
export PATH=$PATH:$FLINK_HOME/bin
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export HADOOP_CLASSPATH=`hadoop classpath`

第三步: 使环境变量生效

bash 复制代码
[root@master ~]# source /etc/profile

第四步:在容器中/opt目录下运行命令flink --version

bash 复制代码
[root@master ~]# cd /opt/
[root@master opt]# flink --version
Version: 1.14.0, Commit ID: 460b386
[root@master opt]# 
复制代码
[root@master opt]# 

3、 开启Hadoop集群,在yarn上以per job模式(即Job分离模式,不采用Session模式)运行 $FLINK_HOME/examples/batch/WordCount.jar,将运行结果最后10行截图粘贴至客户端桌面【Release\任务A提交结果.docx】中对应的任务序号下。

第一步:配置flink

在flink-conf.yaml文件末尾插入

vi /opt/module/flink/conf/flink-conf.yaml

XML 复制代码
classloader.check-leaked-classloader: false

第二步:开启Hadoop集群

bash 复制代码
start-all.sh

第三步:在yarn上以per job模式(即Job分离模式,不采用Session模式)运行 $FLINK_HOME/examples/batch/WordCount.jar

bash 复制代码
[root@master ~]# flink run -m yarn-cluster -p 2 -yjm 2G -ytm 2G $FLINK_HOME/examples/batch/WordCount.jar

声明:此文章为个人学习笔记,如文章有问题欢迎留言探讨,也希望您的指正 !

相关推荐
数据与人工智能律师4 小时前
数字迷雾中的安全锚点:解码匿名化与假名化的法律边界与商业价值
大数据·网络·人工智能·云计算·区块链
mykyle7 小时前
Elasticsearch-ik分析器
大数据·elasticsearch·jenkins
weixin_lynhgworld8 小时前
淘宝扭蛋机小程序系统开发:重塑电商互动模式
大数据·小程序
RPA+AI十二工作室10 小时前
影刀RPA_Temu关键词取数_源码解读
大数据·自动化·源码·rpa·影刀
Sui_Network11 小时前
探索 Sui 上 BTCfi 的各类资产
大数据·人工智能·科技·游戏·区块链
大数据张老师12 小时前
用 AI 做数据分析:从“数字”里挖“规律”
大数据·人工智能
博闻录13 小时前
以 “有机” 重构增长:云集从电商平台到健康生活社区的跃迁
大数据·重构·生活
nbsaas-boot15 小时前
收银系统优惠功能架构:可扩展设计指南(含可扩展性思路与落地细节)
java·大数据·运维
lingling00916 小时前
实验记录安全存储:生物医药科研的数字化基石
大数据·人工智能