Spark

Spark工作原理及基础概念(超详细!)_spark原理-CSDN博客

初识 Spark - 7000字+15张图解,学习 Spark 入门基础知识-腾讯云开发者社区-腾讯云

Spark基本概念

分布式并行计算框架

Spark是加州大学伯克利分校AMP实验室(Algorithms, Machines, and People Lab)开发的通用内存并行计算框架,借鉴了MapReduce之上发展而来的,继承了其分布式并行计算的优点并改进了MapReduce明显的缺陷。使用场景如下:

  • 复杂的批量处理(Batch Data Processing),偏重点在于处理海量数据的能力,至于处理速度可忍受,通常的时间可能是在数十分钟到数小时;
  • 基于历史数据的交互式查询(Interactive Query),通常的时间在数十秒到数十分钟之间
  • 基于实时数据流的数据处理(Streaming Data Processing),通常在数百毫秒到数秒之间
  • Spark 已经成为大数据领域中必备的计算引擎框架
  • Spark 已经基本替代了传统的 MapReduce 离线计算框架和 Storm 流式实时计算框架

1,Spark 的特性

1,Simple 简单易用,spark封装了java python SQL等语言API

2,Fast 比MR快很多

3,Scalable(可融合性)。 使用Hadoop YARN 作用资源管理及调度器

4,Unified(统一通用)。之前离线任务计算用MR,实时流任务计算用storm,这个都支持

2,优势

1,高性能,MR计算结果放在HDFS磁盘上,Spark计算结果放在内存中,内存不够,放磁盘中

3,Spark 的生态圈(组成模块)

4,Spark 的运行原理

1,Spark 的运行模式

2,Spark 的集群架构及角色

Spark 的集群架构主要由 Cluster Manager(集群资源管理器)、Worker (工作节点)、Executor(执行器)、Driver(驱动器)、Application(应用程序)共五部分角色组成


spark与hive结合

两条路线

Spark On Hive (Hive只用于连接数据源)

Hive On Spark

谁在前谁负责解析sql,最终的执行逻辑都是RDD(Spark代替了MR)

代码示例

jar依赖

core 对应RDD

sql

相关推荐
DolphinScheduler社区42 分钟前
Apache DolphinScheduler + OceanBase,搭建分布式大数据调度平台的实践
大数据
时差9532 小时前
MapReduce 的 Shuffle 过程
大数据·mapreduce
kakwooi3 小时前
Hadoop---MapReduce(3)
大数据·hadoop·mapreduce
数新网络3 小时前
《深入浅出Apache Spark》系列②:Spark SQL原理精髓全解析
大数据·sql·spark
P.H. Infinity6 小时前
【RabbitMQ】03-交换机
分布式·rabbitmq
龙哥·三年风水8 小时前
群控系统服务端开发模式-应用开发-个人资料
分布式·php·群控系统
昨天今天明天好多天8 小时前
【数据仓库】
大数据
油头少年_w8 小时前
大数据导论及分布式存储HadoopHDFS入门
大数据·hadoop·hdfs
Elastic 中国社区官方博客9 小时前
释放专利力量:Patently 如何利用向量搜索和 NLP 简化协作
大数据·数据库·人工智能·elasticsearch·搜索引擎·自然语言处理
力姆泰克10 小时前
看电动缸是如何提高农机的自动化水平
大数据·运维·服务器·数据库·人工智能·自动化·1024程序员节