Spark 之 links

tuning

https://spark.apache.org/docs/latest/tuning.html

data-locality

https://spark.apache.org/docs/latest/tuning.html#data-locality

memory-management

https://spark.apache.org/docs/latest/tuning.html#memory-management-overview

  • Execution memory refers to that used for computation in shuffles, joins, sorts and aggregations,
  • While storage memory refers to that used for caching and propagating internal data across the cluster.

https://linzebing.github.io/2020/10/30/spark-sql-9-memory.html

https://www.cnblogs.com/qingyunzong/p/8955141.html

相关推荐
bigdata-rookie12 小时前
Spark 部署模式
大数据·分布式·spark
sheji341619 小时前
【开题答辩全过程】以 基于Spark的药品库存可视化分析系统为例,包含答辩的问题和答案
大数据·分布式·spark
larance19 小时前
spark-submit 常用方式
大数据·spark
A尘埃19 小时前
Spark基于内存计算的数据处理
大数据·分布式·spark
bigdata-rookie2 天前
Flink Checkpoint 和 Spark Checkpoint 的区别
大数据·flink·spark
灯下夜无眠2 天前
conda打包环境上传spark集群
大数据·spark·conda
杂家2 天前
Hive on Spark && Spark on Hive配置
大数据·数据仓库·hive·hadoop·spark
bigdata-rookie2 天前
Spark SQL 简介
大数据·sql·spark
lhyzws2 天前
CENTOS上的网络安全工具(二十八)SPARK+NetSA Security Tools容器化部署(4)
linux·spark·centos
sunxunyong3 天前
flink/spark/hive 使用paimon
hive·flink·spark