3.5 RDD持久化机制

本次实战通过完整的代码示例和Web UI监控，深入讲解了Spark RDD持久化机制。首先通过WordCount案例对比了未持久化（重复计算）与持久化（缓存复用）的性能差异，验证了持久化能显著提升重复计算效率。接着详细介绍了MEMORY_ONLY、DISK_ONLY、MEMORY_AND_DISK等多种存储级别及其适用场景，强调根据内存容量和性能需求合理选择。通过spark-shell交互式操作，演示了如何使用persist()和cache()方法设置不同存储级别，并利用Spark Web UI的Storage页面实时监控RDD缓存状态（内存/磁盘占用、分区分布）。最后展示了unpersist()方法用于手动释放缓存，完整呈现了RDD生命周期管理的最佳实践。