昨天同事和我讨论了一个情况,情况是这样的:
他在跑一个spark程序,跑的时候差不多五六分钟(加了persist的情况),如果不加persist,改为..checkpoint()缓存,速度基本维持在三四分钟左右,速度提升了不少,查了源码和资料,理解了些,先放着,后面再研究吧
例如:
Spark Checkpoint的运行原理和源码实现-腾讯云开发者社区-腾讯云
https://blog.csdn.net/liuyunshengsir/article/details/112647292
昨天同事和我讨论了一个情况,情况是这样的:
他在跑一个spark程序,跑的时候差不多五六分钟(加了persist的情况),如果不加persist,改为..checkpoint()缓存,速度基本维持在三四分钟左右,速度提升了不少,查了源码和资料,理解了些,先放着,后面再研究吧
例如:
Spark Checkpoint的运行原理和源码实现-腾讯云开发者社区-腾讯云
https://blog.csdn.net/liuyunshengsir/article/details/112647292