文章目录
- [一. Spark入门](#一. Spark入门)
- [二. Spark RDD与 Spark core](#二. Spark RDD与 Spark core)
- [三. Spark SQL](#三. Spark SQL)
- [四. Spark Streaming](#四. Spark Streaming)
- [五. Spark内核原理](#五. Spark内核原理)
一. Spark入门
Spark基础知识
Spark部署模式、
Spark运行流程
【概述】spark（一）:spark特点、知识范畴、spark架构、任务提交流程、支持哪些运行环境
二. Spark RDD与 Spark core
RDD基础
常用的RDD算子
RDD函数传递
RDD依赖关系
RDD缓存与检查点
数据的存储与读取
RDD编程进阶
【理论】（spark 二）spark core之RDD：基础概念、特点、stage任务划分与hello spark
【算子1】spark（三）：spark core：trans算子中value类型的算子使用说明
【算子2】spark（四）：spark core：trans算子中key-value类型的算子使用说明
【算子3】spark（五）：spark core：控制算子（cache、persist）、action算子和检查点
三. Spark SQL
Spark SQL基础
Spark SQL创建
RDD DataFrame DataSet转换
IDEA创建Spark SQL程序
用户自定义函数
Spark SQL数据源
【spark sql】spark（八）sparkSQL概述：dataFrame、DataSet、UDF、SparkSQL数据源
四. Spark Streaming
基本介绍
WordCount案例实操
DStream创建
从Kafka中采集数据
DStream转换
window函数
【spark streaming】spark（九）Spark Streaming Programming Guide：概述、wordcount、数据源、trans（常见算子、window）、输出源
五. Spark内核原理
【shuffle/内存模型】spark（七）超详细mareduce shuffle和spark Shuffle讲解、以及spark比mapreduce快在哪些方面