基于Spark配置+缓存策略+Junpyter Notebook 实现Spark数据加速调试

一、Spark配置加载优化

1. 减少shuffle分区
2. 减少并行度
3. 关闭自适应优化（小数据更快）
4. 足够Driver内存
5. 启用Arrow加速
6. 关闭UI减少开销
7. 本地模式，避免网络开销

%%time
# 初始化计时
import time
import pandas as pd
from pyspark.sql import SparkSession
from pyspark.storagelevel import StorageLevel

# 创建优化的SparkSession（针对小数据调试）
spark = SparkSession.builder \
    .appName("JupyterDebug") \
    .config("spark.sql.shuffle.partitions", "1") \          # 减少shuffle分区
    .config("spark.default.parallelism", "1") \            # 减少并行度
    .config("spark.sql.adaptive.enabled", "false") \       # 关闭自适应优化（小数据更快）
    .config("spark.driver.memory", "2g") \                 # 足够Driver内存
    .config("spark.sql.execution.arrow.pyspark.enabled", "true") \  # 启用Arrow加速
    .config("spark.ui.enabled", "false") \                 # 关闭UI减少开销
    .master("local[*]") \                                  # 本地模式，避免网络开销
    .getOrCreate()

二、缓存策略

%%time
# 数据加载代码
# df1 = get_df1(spark)

df1 = df1.persist(StorageLevel.MEMORY_AND_DISK)  # 缓存加速。生产场景应根据数据量或通过配置项决定是否缓存
df1.cache()
df1.show(20)
df1.printSchema()
print(f"columns count: {len(df1.columns)}")
print(f"columns: {df1.olumns}")

三、 建议

1. 优化分区、网络配置加速运行 ：避免网络开销，使用master("local[*]")
2. 预先缓存策略 ：在show()之前先persist()和cache()并触发缓存，注意生产应通过配置或数据量合理控制使用缓存，避免内存问题。
3. 利用Jupyter特性 ：使用display()、交互式变量查看