Spark_跑批__.checkpoint()为什么比.persist()快

昨天同事和我讨论了一个情况,情况是这样的:

他在跑一个spark程序,跑的时候差不多五六分钟(加了persist的情况),如果不加persist,改为..checkpoint()缓存,速度基本维持在三四分钟左右,速度提升了不少,查了源码和资料,理解了些,先放着,后面再研究吧

例如:

Spark Checkpoint的运行原理和源码实现-腾讯云开发者社区-腾讯云

https://blog.csdn.net/liuyunshengsir/article/details/112647292

相关推荐
数字新视界2 小时前
机房环境监控系统的关键应用与发展趋势
大数据·物联网·信息可视化·信息与通信·一体化机柜
ADAI_Bowen2 小时前
渲境AI实测:当AI尝试扛起建筑效果图的交付压力
大数据·人工智能
IT小小猪2 小时前
# Hadoop 3.3.6 完全分布式集群部署知识库
hadoop·分布式·eclipse
cuiZero02 小时前
主流大模型系列对比:GPT、GLM、DeepSeek 与 Claude 选型指南
大数据·人工智能·gpt
starzy19902 小时前
Flink 启动TaskManager流程设计:从TaskManagerRunner到Slot创建的完整启动链路
大数据·flink
张继雁2 小时前
30~50MPa数控高压清洗:前端分级过滤逻辑,抑制硬质磨粒对喷嘴冲蚀
大数据·数据库·人工智能·机器学习·创业创新
此时不提桶,更待何时2 小时前
06-24-B-RabbitMQ面试与生产事故实战
分布式·面试·rabbitmq
AI日报派送佬2 小时前
2026年10月12日AI行业日报|GPT-6.1 Sol超长上下文免费开放,多智能体成本陷阱暴露,算力供需失衡持续发酵
大数据·人工智能·openai·苹果·ai日报·智能体技术·deepseekharness
泡干脆面就番茄2 小时前
Hive入门:架构解析与安装部署实录
大数据·数据仓库·hive·hadoop·架构
Nefu_lyh2 小时前
【工作杂谈_20261012】数据平台与工程治理: Spark OOM 排查:Java Heap、Executor 与代码内存模型
java·大数据·spark