Spark 之 links

tuning

https://spark.apache.org/docs/latest/tuning.html

data-locality

https://spark.apache.org/docs/latest/tuning.html#data-locality

memory-management

https://spark.apache.org/docs/latest/tuning.html#memory-management-overview

  • Execution memory refers to that used for computation in shuffles, joins, sorts and aggregations,
  • While storage memory refers to that used for caching and propagating internal data across the cluster.

https://linzebing.github.io/2020/10/30/spark-sql-9-memory.html

https://www.cnblogs.com/qingyunzong/p/8955141.html

相关推荐
uesowys1 天前
Apache Spark算法开发指导-特征转换RobustScaler
spark·特征转换·robustscaler
努力成为一个程序猿.1 天前
【问题排查】hadoop-shaded-guava依赖问题
大数据·hadoop·spark
~kiss~2 天前
spark-SQL学习
sql·学习·spark
2501_938780283 天前
《不止 MapReduce:Hadoop 与 Spark 的计算模型差异及适用场景分析》
hadoop·spark·mapreduce
2501_938773994 天前
《Hadoop 与 Spark 融合路径:基于 Spark on YARN 的部署与调优技巧》
大数据·hadoop·spark
2501_938782095 天前
《大数据框架选型指南:Hadoop 与 Spark 的性能、成本与扩展性对比》
大数据·hadoop·spark
北邮-吴怀玉5 天前
6.1.1.3 大数据方法论与实践指南-SparkStreaming 任务优化实践
大数据·flink·spark·数据治理
Q26433650235 天前
【有源码】基于Hadoop与Spark的时尚精品店数据分析与可视化系统-基于多维度分析的零售时尚销售数据挖掘与可视化研究
大数据·hadoop·机器学习·数据挖掘·数据分析·spark·毕业设计
北邮-吴怀玉5 天前
6.1.1.1 大数据方法论与实践指南-Spark/Flink 任务开发规范
大数据·flink·spark
LDG_AGI5 天前
【推荐系统】深度学习训练框架(一):深入剖析Spark集群计算中Master与Pytorch分布式计算Master的区别
人工智能·深度学习·算法·机器学习·spark