spark总结

Spark Core

核心概念:RDD是基本数据处理模型,具备弹性、分布式等特性,拥有分区列表、计算函数等核心属性,其执行涉及资源申请、任务划分与调度。此外,还介绍了累加器和广播变量,用于分布式环境下的数据聚合与对象分发。

编程操作:包括创建RDD的多种方式,如从集合、外部存储等;RDD转换算子分为Value、双Value和Key - Value类型,各有不同的操作函数;行动算子用于触发实际计算,返回结果或进行存储 。同时,讲解了RDD的序列化、依赖关系、持久化和分区器等内容。

Spark SQL

核心概念:是处理结构化数据的模块,提供DataFrame和DataSet编程抽象。DataFrame类似二维表格,带有schema元信息;DataSet是其扩展,具有强类型和更友好的API。

编程操作:创建DataFrame的方式多样,支持SQL和DSL语法查询。RDD、DataFrame和DataSet可相互转换,且都支持数据加载与保存,通用方式可处理多种数据格式。此外,还介绍了自定义函数和连接Hive的多种方式。

Spark Streaming

核心概念:用于流式数据处理,以DStream为抽象表示,内部由RDD序列组成,具有易用、容错和易整合的特点。

编程操作:DStream创建方式包括RDD队列、自定义数据源和Kafka数据源。其转换操作有无状态和有状态之分,输出操作决定数据去向,如打印、保存等 。

相关推荐
BYSJMG8 小时前
计算机毕设推荐:基于Hadoop+Spark物联网网络安全数据分析系统 物联网威胁分析系统【源码+文档+调试】
大数据·hadoop·python·物联网·spark·django·课程设计
XueminXu9 小时前
Spark-SQL任务提交方式
sql·spark·spark-sql·sql文件·元数据·sql脚本·hms
武子康12 小时前
大数据-96 SparkSQL 语句详解:从 DataFrame 到 SQL 查询与 Hive 集成全解析
大数据·后端·spark
小朋友,你是否有很多问号?13 小时前
Spark10- RDD转DataFrame的三种方式
大数据·javascript·spark
麦麦大数据15 小时前
J002 Vue+SpringBoot电影推荐可视化系统|双协同过滤推荐算法评论情感分析spark数据分析|配套文档1.34万字
vue.js·spring boot·数据分析·spark·可视化·推荐算法
渣渣盟1 天前
Spark核心:单跳转换率计算全解析
大数据·spark·scala·apache
IT毕设梦工厂1 天前
大数据毕业设计选题推荐-基于大数据的国家医用消耗选品采集数据可视化分析系统-Hadoop-Spark-数据可视化-BigData
大数据·hadoop·信息可视化·spark·毕业设计·数据可视化·bigdata
智海观潮1 天前
Spark SQL解析查询parquet格式Hive表获取分区字段和查询条件
hive·sql·spark
武子康1 天前
大数据-95 Spark 集群 SparkSQL Action与Transformation操作 详细解释与测试案例
大数据·后端·spark
闯闯桑2 天前
Spark 中spark.implicits._ 中的 toDF和DataFrame 类本身的 toDF 方法
大数据·ajax·spark·scala