基于阿里Anolis OS8.8 的Hadoop大数据平台建设

基于阿里Anolis OS8.8 的Hadoop大数据平台建设

VNC安装与使用

0 Anolis OS基本操作

0.1 Anolis OS用户与组管理

0.2 系统进程管理

0.3 文件操作命令及权限

0.4 系统目录结构

1 Hadoop大数据处理框架

1.1Hadoop 伪分布模式安装（Hadoop3.0）

1.2 Hadoop Shell 基本操作（Hadoop3.0）

1.3 Hadoop 开发插件安装（Hadoop3.0）

1.4 MapReduce 实例：WordCount（Hadoop3.0）

1.5 MapReduce 实例：去重（Hadoop3.0）

1.6 MapReduce 实例：行统计（Hadoop3.0）

1.7 MapReduce 实例：求平均值（Hadoop3.0）

2 Spark分布式处理框架

2.1 Spark Standalone 伪分布模式安装（Hadoop3.0）

2.2 Spark Shell 操作（Hadoop3.0）

2.3 PySpark安装（Hadoop3.0）

2.4 PySpark SQL-DataFrame文件处理

2.5 PySpark SQL-数据表操作

2.6 案例：PySpark实现用户价值分类

2.7 案例：用户价值分类结果可视化展示

2.8 案例：PySpark 处理数据并进行图表分:

3 Hive数据仓库

3.1 Hive 安装部署（Hadoop3.0）

3.2 Hive 基本操作（Hadoop3.0）

3.3 Hive查询（Hadoop3.0系列）

3.4 Hive 分组排序（Hadoop3.0系列）

3.5 案例：利用HiveSQL离线分析评论数据

4 Sqoop数据迁移工具

4.1 Sqoop 安装（Hadoop3.0）

4.2 Sqoop数据导入导出（Hadoop3.0）

4.3 Sqoop增量数据导入（Hadoop3.0）

4.4 案例：利用Sqoop进行数据迁移至Mysql数据库

hadoop安全报警

5 容器

容器技术

容器平台应用搭建