Flink的CheckPoint与SavePoint

Flink的Checkpoint(检查点)和Savepoint(保存点)是两种不同的状态快照机制,主要区别如下:

1. ‌Checkpoint

  • 核心功能‌:周期性触发的容错机制,用于故障恢复时保证状态一致性57。
  • 触发方式‌:由JobManager周期性触发,通过Barrier机制实现分布式快照26。
  • 存储内容‌:保存所有算子的状态快照,支持Exactly-Once语义15。
  • 生命周期‌:自动管理,旧检查点会被清理以释放存储空间7。
  • 性能影响‌:高频检查点可能增加系统开销,需平衡间隔时间与恢复速度7。

2. ‌Savepoint

  • 核心功能‌:手动触发的全局状态快照,用于有计划的状态迁移或版本升级5。
  • 触发方式‌:通过命令行或API显式触发,生成完整应用状态副本5。
  • 存储内容‌:包含检查点数据及作业拓扑信息,支持跨集群或配置恢复5。
  • 生命周期‌:需手动维护,长期保留需额外存储成本5。
  • 用途扩展‌:支持作业暂停后从相同状态恢复,或Flink版本升级时的兼容性测试5。

3. ‌关键差异

特性 Checkpoint Savepoint
触发方式 自动周期性触发27 手动触发5
存储目标 故障恢复(短期)7 运维操作(长期)5
数据包含 仅状态快照1 状态+作业拓扑5
性能优化 增量快照(RocksDB支持)3 全量快照5

4. ‌技术实现

  • Checkpoint‌:基于Chandy-Lamport算法,通过Barrier对齐实现一致性快照26。
  • Savepoint‌:依赖Checkpoint机制生成,但需额外序列化作业元数据5。

两者共同构成Flink的容错与运维能力,Checkpoint保障实时可靠性,Savepoint提供灵活性运维支持

相关推荐
数据小子21413 小时前
【自记】MaxCompute中的冒烟测试
大数据·maxcompute
未来之窗软件服务14 小时前
万象EXCEL开发(九)excel 高级混合查询 ——东方仙盟金丹期
大数据·excel·仙盟创梦ide·东方仙盟·万象excel
文火冰糖的硅基工坊15 小时前
[人工智能-综述-21]:学习人工智能的路径
大数据·人工智能·学习·系统架构·制造
TDengine (老段)19 小时前
TDengine 时序函数 MAVG 用户手册
大数据·数据库·物联网·性能优化·时序数据库·iot·tdengine
58沈剑20 小时前
1W+属性,每秒10W+吞吐,100Y+数据,架构如何设计?(第101讲,万字收藏)
大数据·架构
IT毕设梦工厂1 天前
大数据毕业设计选题推荐-基于大数据的人口普查收入数据分析与可视化系统-Hadoop-Spark-数据可视化-BigData
大数据·hadoop·数据分析·spark·毕业设计·源码·bigdata
计算机源码社1 天前
基于Hadoop的车辆二氧化碳排放量分析与可视化系统|基于Spark的车辆排放量实时监控与预测系统|基于数据挖掘的汽车排放源识别与减排策略系统
大数据·hadoop·机器学习·数据挖掘·spark·毕业设计·课程设计
代码匠心1 天前
从零开始学Flink:数据输出的终极指南
java·大数据·后端·flink
RunningShare1 天前
SpringBoot + MongoDB全栈实战:从架构原理到AI集成
大数据·spring boot·mongodb·架构·ai编程
文火冰糖的硅基工坊1 天前
[人工智能-综述-18]:AI重构千行百业的技术架构
大数据·人工智能·重构·架构·系统架构·制造·产业链