04-模块一平台搭建与运维

ZZ052-大数据应用与服务赛项试题01

目录

• ZZ052-大数据应用与服务赛项试题01
• 模块一：平台搭建与运维
• • （一）任务一：大数据平台搭建
  • • 1.子任务一：基础环境准备
  • [4.验证 Java 安装：](#4.验证 Java 安装：)
  • • 2.子任务二：Hadoop完全分布式安装配置
    • 3.子任务三：MySQL安装配置
    • 4.子任务四：Hive安装配置
    • 5.子任务五：Flume安装配置
  • （二）任务二：数据库配置维护
  • • 1.子任务一：数据库配置
    • 2.子任务二：创建相关表
• 模块二：数据获取与处理
• • （一）任务一：数据获取与清洗
  • • 1.子任务一：数据获取
    • 2.子任务二：数据清洗
  • （二）任务二：数据标注
  • （三）任务三：数据统计
  • • 1.子任务一：HDFS文件上传下载
    • 2.子任务二：数据统计
• 模块三：业务分析与可视化
• • （一）任务一：数据可视化
  • • 1.子任务一：数据分析
    • 2.子任务二：数据可视化
  • （二）任务二：业务分析

模块一：平台搭建与运维

（一）任务一：大数据平台搭建

1.子任务一：基础环境准备

1.安装并配置 Java 环境

Hadoop 等分布式框架依赖 Java，需安装 JDK（推荐 JDK 8）；

下载 JDK（以jdk-8u361-linux-x64.tar.gz为例，需提前从 Oracle 官网或镜像站下载）；

从本地上传文件到虚拟机使用到软件有Xshell，XFTP，Filezilla，需要主机先去官网下载文件（具体配置及使用参考链接1）。

（1）上传 JDK 到hadoop用户的/home/hadoop/software目录（需先创建目录）：

# 假设通过 Xftp 等工具上传 JDK 到/home/hadoop/software
mkdir -p /home/hadoop/software /home/hadoop/app 
# software放安装包，app放解压后的程序 

（2）解压 JDK 到software目录，更改文件夹的名称：

cd /root/app
tar -zxvf jdk-8u361-linux-x64.tar.gz -C /root/software/
cd  /root/software/
mv jdk1.8.0_162 jdk1.8

（3） 配置 Java 环境变量（root用户、/etc/profile文件 编辑.bashrc）：

su - root# 确保是root用户
vim /etc/profile # 末尾添加以下内容

添加：

# Java Environment
  # 注意路径与实际解压的一致
export JAVA_HMOE=/root/software/jdk1.8
export PATH=$PATH:$JAVA_HOME/bin

# 生效配置：source ~/.bashrc
source /etc/profile

4.验证 Java 安装：

java -version  # 输出JDK版本信息即成功

每个节点都需要安装JDKjie。
集群节点之间的免密登录

2.子任务二：Hadoop完全分布式安装配置

3.子任务三：MySQL安装配置

4.子任务四：Hive安装配置

5.子任务五：Flume安装配置

（二）任务二：数据库配置维护

1.子任务一：数据库配置

2.子任务二：创建相关表

模块二：数据获取与处理

（一）任务一：数据获取与清洗

1.子任务一：数据获取

2.子任务二：数据清洗

（二）任务二：数据标注

（三）任务三：数据统计

1.子任务一：HDFS文件上传下载

2.子任务二：数据统计

模块三：业务分析与可视化

（一）任务一：数据可视化

1.子任务一：数据分析

2.子任务二：数据可视化

（二）任务二：业务分析