【spark（零）】spark技术概览

文章目录

• [一. Spark入门](#一. Spark入门)
• [二. Spark RDD与 Spark core](#二. Spark RDD与 Spark core)
• [三. Spark SQL](#三. Spark SQL)
• [四. Spark Streaming](#四. Spark Streaming)
• [五. Spark内核原理](#五. Spark内核原理)

一. Spark入门

Spark基础知识

Spark部署模式、

Spark运行流程

【概述】spark（一）:spark特点、知识范畴、spark架构、任务提交流程、支持哪些运行环境

二. Spark RDD与 Spark core

RDD基础

常用的RDD算子

RDD函数传递

RDD依赖关系

RDD缓存与检查点

数据的存储与读取

RDD编程进阶

【理论】（spark 二）spark core之RDD：基础概念、特点、stage任务划分与hello spark

【算子1】spark（三）：spark core：trans算子中value类型的算子使用说明

【算子2】spark（四）：spark core：trans算子中key-value类型的算子使用说明

【算子3】spark（五）：spark core：控制算子（cache、persist）、action算子和检查点

【变量】spark（六）变量共享：累加器和广播变量

三. Spark SQL

Spark SQL基础

Spark SQL创建

RDD DataFrame DataSet转换

IDEA创建Spark SQL程序

用户自定义函数

Spark SQL数据源

【spark sql】spark（八）sparkSQL概述：dataFrame、DataSet、UDF、SparkSQL数据源

四. Spark Streaming

基本介绍

WordCount案例实操

DStream创建

从Kafka中采集数据

DStream转换

window函数

【spark streaming】spark（九）Spark Streaming Programming Guide：概述、wordcount、数据源、trans（常见算子、window）、输出源

五. Spark内核原理

【shuffle/内存模型】spark（七）超详细mareduce shuffle和spark Shuffle讲解、以及spark比mapreduce快在哪些方面