Spark 之 links

tuning

https://spark.apache.org/docs/latest/tuning.html

data-locality

https://spark.apache.org/docs/latest/tuning.html#data-locality

memory-management

https://spark.apache.org/docs/latest/tuning.html#memory-management-overview

  • Execution memory refers to that used for computation in shuffles, joins, sorts and aggregations,
  • While storage memory refers to that used for caching and propagating internal data across the cluster.

https://linzebing.github.io/2020/10/30/spark-sql-9-memory.html

https://www.cnblogs.com/qingyunzong/p/8955141.html

相关推荐
Yana_Zeng2 天前
win10安装spark3.1详细流程(小白用)
hadoop·windows·spark
1024find2 天前
Spark on k8s部署
大数据·运维·容器·spark·kubernetes
Lansonli4 天前
大数据Spark(六十七):Transformation转换算子distinct和mapValues
大数据·分布式·spark
weixin_525936335 天前
金融大数据处理与分析
hadoop·python·hdfs·金融·数据分析·spark·matplotlib
geilip5 天前
知识体系_scala_利用scala和spark构建数据应用
开发语言·spark·scala
孟意昶5 天前
Spark专题-第三部分:性能监控与实战优化(3)-数据倾斜优化
大数据·分布式·sql·spark
Lansonli5 天前
大数据Spark(六十六):Transformation转换算子sample、sortBy和sortByKey
大数据·分布式·spark
IT毕设梦工厂6 天前
大数据毕业设计选题推荐-基于大数据的人口普查收入数据分析与可视化系统-Hadoop-Spark-数据可视化-BigData
大数据·hadoop·数据分析·spark·毕业设计·源码·bigdata
计算机源码社6 天前
基于Hadoop的车辆二氧化碳排放量分析与可视化系统|基于Spark的车辆排放量实时监控与预测系统|基于数据挖掘的汽车排放源识别与减排策略系统
大数据·hadoop·机器学习·数据挖掘·spark·毕业设计·课程设计