Spark 之 links

tuning

https://spark.apache.org/docs/latest/tuning.html

data-locality

https://spark.apache.org/docs/latest/tuning.html#data-locality

memory-management

https://spark.apache.org/docs/latest/tuning.html#memory-management-overview

  • Execution memory refers to that used for computation in shuffles, joins, sorts and aggregations,
  • While storage memory refers to that used for caching and propagating internal data across the cluster.

https://linzebing.github.io/2020/10/30/spark-sql-9-memory.html

https://www.cnblogs.com/qingyunzong/p/8955141.html

相关推荐
阿里云大数据AI技术2 天前
EMR Serverless Ray:让 AI 推理融入数据处理
人工智能·spark
freejackman6 天前
【架构篇】双遍历 + 多栈协同:手撸 SQL 血缘引擎的架构思考
java·大数据·数据库·hive·sql·架构·spark
陈年老古董6 天前
Spark 3.1.3 集群搭建 + Spark-SQL 整合 Hive 记录
hive·sql·spark
乌恩大侠7 天前
「AI-RAN」Aerial,使用ORAN C1模式
人工智能·5g·spark·o-ru·ai-ran
测试盐7 天前
spark作业日志定位过程
java·hadoop·spark
IT研究室7 天前
最新大数据毕业设计选题推荐-基于大数据的Kaggle竞赛团队协作模式与效能可视化分析-大数据-Spark-Hadoop-Bigdata
大数据·spark·课程设计
棣廷10 天前
初识Spark Core
大数据·分布式·spark
磁场转动100万匹12 天前
Spark Core 核心原理:从 RDD 到分布式计算
大数据·分布式·spark
ha_lydms14 天前
AnalyticDB MySQL 技术架构
大数据·hadoop·mysql·adb·spark·dataworks·1024程序员节