技术栈
基于阿里Anolis OS8.8 的Hadoop大数据平台建设
jhtchina
2024-06-14 14:48
基于阿里Anolis OS8.8 的Hadoop大数据平台建设
VNC安装与使用
0 Anolis OS基本操作
0.1 Anolis OS用户与组管理
0.2 系统进程管理
0.3 文件操作命令及权限
0.4 系统目录结构
1 Hadoop大数据处理框架
1.1Hadoop 伪分布模式安装(Hadoop3.0)
1.2 Hadoop Shell 基本操作(Hadoop3.0)
1.3 Hadoop 开发插件安装(Hadoop3.0)
1.4 MapReduce 实例:WordCount(Hadoop3.0)
1.5 MapReduce 实例:去重(Hadoop3.0)
1.6 MapReduce 实例:行统计(Hadoop3.0)
1.7 MapReduce 实例:求平均值(Hadoop3.0)
2 Spark分布式处理框架
2.1 Spark Standalone 伪分布模式安装
(Hadoop3.0)
2.2 Spark Shell 操作
(Hadoop3.0)
2.3 PySpark安装
(Hadoop3.0)
2.4 PySpark SQL-DataFrame文件处理
2.5 PySpark SQL-数据表操作
2.6 案例:PySpark实现用户价值分类
2.7 案例:用户价值分类结果可视化展示
2.8 案例:PySpark 处理数据并进行图表分
:
3 Hive数据仓库
3.1 Hive 安装部署
(Hadoop3.0)
3.2 Hive 基本操作
(Hadoop3.0)
3.3 Hive查询
(Hadoop3.0系列)
3.4 Hive 分组排序
(Hadoop3.0系列)
3.5 案例:利用HiveSQL离线分析评论数据
4 Sqoop数据迁移工具
4.1 Sqoop 安装
(Hadoop3.0)
4.2 Sqoop数据导入导出
(Hadoop3.0)
4.3 Sqoop增量数据导入
(Hadoop3.0)
4.4 案例:利用Sqoop进行数据迁移至Mysql数据库
hadoop安全报警
5 容器
容器技术
容器平台应用搭建
上一篇:
MyBatis细节
下一篇:
【已解决】windows电脑连蓝牙耳机总是断断续续?
热门推荐
01
19个Web前端交互式3D JavaScript框架和库
02
ARM学习(31)编译器对overlay方式的支持
03
玄机平台应急响应—webshell查杀
04
RAG 实践- Ollama+RagFlow 部署本地知识库
05
【一文读懂】NTN(非地面网络)技术介绍
06
(欧拉)openEuler系统添加网卡文件配置流程、(欧拉)openEuler系统手动配置ipv6地址流程、(欧拉)openEuler系统网络管理说明
07
ZZ038 物联网应用与服务赛题第J套
08
组基轨迹建模 GBTM的介绍与实现(Stata 或 R)
09
Docker 夺命连环 15 问
10
VSCode插件 —— Cody AI (免费AI助手!)