昨天同事和我讨论了一个情况，情况是这样的：
他在跑一个spark程序，跑的时候差不多五六分钟（加了persist的情况），如果不加persist，改为..checkpoint()缓存，速度基本维持在三四分钟左右，速度提升了不少，查了源码和资料，理解了些，先放着，后面再研究吧
例如：
Spark Checkpoint的运行原理和源码实现-腾讯云开发者社区-腾讯云
https://blog.csdn.net/liuyunshengsir/article/details/112647292
相关推荐
存在morning1 天前
【GO语言开发实践】二 GO 并发快速上手nassi_1 天前
对AI工程问题的一些思考沪漂阿龙1 天前
面试题详解：检索链路设计全攻略——RAG 检索架构、查询理解、多路召回、混合检索、Rerank、上下文构造与评估闭环金融小师妹1 天前
基于AI通胀预期模型与美元流动性监测框架的黄金6周新低行分析：美元五连涨周期下贵金属定价机制重构研究Jackyzhe1 天前
从零学习Kafka：消费者组重平衡智慧医养结合软件开源1 天前
智慧养老系统医生管理模块：专业赋能，筑牢老人诊疗安全防线海南java第二人1 天前
ClickHouse 部署模式完全指南：从单机到分布式集群的生产级选型身如柳絮随风扬1 天前
Git 核心操作：rebase 与 merge 的区别，以及分支管理最佳实践多年小白1 天前
兆易创新分析财迅通Ai1 天前
海立股份：公司旗下海立特冷“人体降温系统”入选市级先进技术推荐目录