【spark(零)】spark技术概览

文章目录

  • [一. Spark入门](#一. Spark入门)
  • [二. Spark RDD与 Spark core](#二. Spark RDD与 Spark core)
  • [三. Spark SQL](#三. Spark SQL)
  • [四. Spark Streaming](#四. Spark Streaming)
  • [五. Spark内核原理](#五. Spark内核原理)

一. Spark入门

Spark基础知识

Spark部署模式、

Spark运行流程

【概述】spark(一):spark特点、知识范畴、spark架构、任务提交流程、支持哪些运行环境

二. Spark RDD与 Spark core

RDD基础

常用的RDD算子

RDD函数传递

RDD依赖关系

RDD缓存与检查点

数据的存储与读取

RDD编程进阶

【理论】(spark 二)spark core之RDD:基础概念、特点、stage任务划分与hello spark

【算子1】spark(三):spark core:trans算子中value类型的算子使用说明

【算子2】spark(四):spark core:trans算子中key-value类型的算子使用说明

【算子3】spark(五):spark core:控制算子(cache、persist)、action算子和检查点

【变量】spark(六)变量共享:累加器和广播变量

三. Spark SQL

Spark SQL基础

Spark SQL创建

RDD DataFrame DataSet转换

IDEA创建Spark SQL程序

用户自定义函数

Spark SQL数据源

【spark sql】spark(八)sparkSQL概述:dataFrame、DataSet、UDF、SparkSQL数据源

四. Spark Streaming

基本介绍

WordCount案例实操

DStream创建

从Kafka中采集数据

DStream转换

window函数

【spark streaming】spark(九)Spark Streaming Programming Guide:概述、wordcount、数据源、trans(常见算子、window)、输出源

五. Spark内核原理

【shuffle/内存模型】spark(七)超详细mareduce shuffle和spark Shuffle讲解、以及spark比mapreduce快在哪些方面

相关推荐
txxzjmzlh20 分钟前
RabbitMQ安装
分布式·rabbitmq
黑十43 分钟前
FDE 怎么快速搭一个可演示页面?最小前端方案
java·大数据·前端·数据库·人工智能
Databend1 小时前
OpenRaft 自定义 Membership,按部署拓扑选择 Quorum
大数据·数据库·数据分析
Databend2 小时前
用 SQL 排查支付故障,OpenTelemetry 接入 Databend Cloud 实战
大数据·数据库·sql
上海潭龙东海科技有限公司2 小时前
智慧堆场动态模型三维实时孪生重构智能管控
大数据·网络·数据库·算法·重构
尹文祥3 小时前
Apache Doris 2.1.10:存储结构、索引与查询优化详解
大数据
isfox6 小时前
Hadoop 序列化:为什么不用 Java 自带 Serializable?
大数据
字节跳动数据平台7 小时前
火山引擎 VeKnow 落地指南(下):从知识编译到价值渗透
大数据
AI源码9 小时前
基于Spark的期刊推荐系统的设计与实现
大数据·分布式·spark
玩美数据9 小时前
海外市场数据分析驱动下的产业趋势演变与竞争格局深度解读
大数据·人工智能