Spark内核

环境准备及提交流程

底层通信协议

  1. Akka通信协议,收发邮箱是一体的
  2. Netty通信协议,收发邮箱是分开的

任务调度

任务的最小单位是线程。失败重试,会记录失败的次数,如果超过最大重试次数,宣告Application失败。失败的同时会记录它上一次所在的ExecutorID和Host, 最多重试4次。

Shuffle

功能:打散重分区

特点:无论MR和Spark,Shuffle都需要落盘。其中的区别是MR每次都落盘,Spark是尽可能少落盘。

落盘的话就需要考虑不同分区之间的数据如何存放的问题。假设每个Executor有两个Task,总共有三个分区。以下是四种shuffle落盘的策略:

  1. 每个Task里面的数据打散成3个文件,一个Executor生成6个文件
  2. Executor里面的两个Task的数据打散到3个文件中,一个分区一个文件,共3个文件。
  3. sortShuffle: Executor里面打散的数据落盘到一个文件中,三个分区的数据通过索引来区分。这个就是SortShuffle,目前MR就是sortShuffle。
  4. bypassShuffle:对不同分区的数据进行打散重分区时不对数据进行排序,只适合非聚合类的shuffle算子,比如reduceByKey。

Spark内存管理

堆内和堆外内存

  1. 堆内:通过JVM申请的内存,通过了JVM的转化,更加安全,并且有垃圾回收机制。
  2. 堆外:也称页缓存,自己向操作系统申请。没有经过JVM转换,不安全,没有垃圾回收机制。堆外的内存空间是通过C语言控制的,有出现内存泄漏的危险。
    • 优点:
      • 减少了垃圾回收的工作
      • 加快了复制的速度,省略了序列化的操作。
    • 缺点:
      • 堆外内存难以控制,如果内存泄漏,很难排查
      • 不适合存储复杂对象。
  3. spark中,堆外内存默认是关闭的。
  4. 配置方法
    • executor-memory 和 driver-memory
    • 启用堆外内存spark.memory.offHeap.eabled,并由spark.memory.offHeap.size设置堆外空间大小。

内存的分配

  1. 静态内存管理,简称写死
    • 分为三个部分:
      • 存储空间60%
      • 执行空间20%
      • 其他空间20%
  2. 统一内存管理,简称动态分配
    • 分为三个部分
      • 其他空间40%
      • 存储空间+计算空间=60%
    • 存储和计算空间反向使用,允许空间借用。

RDD的持久化机制

存储内存淘汰规则:

  • 旧RDD所属RDD不能处于被读状态,避免引发一致性问题
  • 新旧Block不能属于同一个RDD,避免循环淘汰
  • 按照最近最少LRU进行淘汰
相关推荐
计算机编程-吉哥13 小时前
大数据毕业设计-基于大数据的NBA美国职业篮球联赛数据分析可视化系统(高分计算机毕业设计选题·定制开发·真正大数据·机器学习毕业设计)
大数据·毕业设计·计算机毕业设计选题·机器学习毕业设计·大数据毕业设计·大数据毕业设计选题推荐·大数据毕设项目
计算机编程-吉哥13 小时前
大数据毕业设计-基于大数据的BOSS直聘岗位招聘数据可视化分析系统(高分计算机毕业设计选题·定制开发·真正大数据·机器学习毕业设计)
大数据·毕业设计·计算机毕业设计选题·机器学习毕业设计·大数据毕业设计·大数据毕业设计选题推荐·大数据毕设项目
RunningShare14 小时前
从“国庆景区人山人海”看大数据处理中的“数据倾斜”难题
大数据·flink
Hello.Reader15 小时前
Flink 执行模式在 STREAMING 与 BATCH 之间做出正确选择
大数据·flink·batch
文火冰糖的硅基工坊18 小时前
《投资-99》价值投资者的认知升级与交易规则重构 - 什么是周期性股票?有哪些周期性股票?不同周期性股票的周期多少?周期性股票的买入和卖出的特点?
大数据·人工智能·重构·架构·投资·投机
Elastic 中国社区官方博客18 小时前
Elasticsearch:使用推理端点及语义搜索演示
大数据·数据库·人工智能·elasticsearch·搜索引擎·ai·全文检索
失散1319 小时前
分布式专题——33 一台新机器进行Web页面请求的历程
分布式·tcp/ip·http·路由器·交换机
数据智能老司机19 小时前
数据工程设计模式——冷热数据存储
大数据·设计模式·架构
Hello.Reader1 天前
Flink 连接器与格式thin/uber 制品、打包策略与上线清单
大数据·flink
隐语SecretFlow1 天前
【隐私计算科普】如何实现可证明安全?
大数据·开源·边缘计算