Flink的CheckPoint与SavePoint

Flink的Checkpoint(检查点)和Savepoint(保存点)是两种不同的状态快照机制,主要区别如下:

1. ‌Checkpoint‌

  • ‌核心功能‌:周期性触发的容错机制,用于故障恢复时保证状态一致性57。
  • ‌触发方式‌:由JobManager周期性触发,通过Barrier机制实现分布式快照26。
  • ‌存储内容‌:保存所有算子的状态快照,支持Exactly-Once语义15。
  • ‌生命周期‌:自动管理,旧检查点会被清理以释放存储空间7。
  • ‌性能影响‌:高频检查点可能增加系统开销,需平衡间隔时间与恢复速度7。

2. ‌Savepoint‌

  • ‌核心功能‌:手动触发的全局状态快照,用于有计划的状态迁移或版本升级5。
  • ‌触发方式‌:通过命令行或API显式触发,生成完整应用状态副本5。
  • ‌存储内容‌:包含检查点数据及作业拓扑信息,支持跨集群或配置恢复5。
  • ‌生命周期‌:需手动维护,长期保留需额外存储成本5。
  • ‌用途扩展‌:支持作业暂停后从相同状态恢复,或Flink版本升级时的兼容性测试5。

3. ‌关键差异‌

‌特性‌ ‌Checkpoint‌ ‌Savepoint‌
‌触发方式‌ 自动周期性触发27 手动触发5
‌存储目标‌ 故障恢复(短期)7 运维操作(长期)5
‌数据包含‌ 仅状态快照1 状态+作业拓扑5
‌性能优化‌ 增量快照(RocksDB支持)3 全量快照5

4. ‌技术实现‌

  • ‌Checkpoint‌:基于Chandy-Lamport算法,通过Barrier对齐实现一致性快照26。
  • ‌Savepoint‌:依赖Checkpoint机制生成,但需额外序列化作业元数据5。

两者共同构成Flink的容错与运维能力,Checkpoint保障实时可靠性,Savepoint提供灵活性运维支持

相关推荐
小羊没烦恼!3 天前
微服务化的基石——持续集成
java·大数据·word·powerpoint·.net
一隅论数智3 天前
给AI一张“业务概念地图“:本体如何从哲学走向企业智能
大数据·人工智能·经验分享·笔记·学习·学习方法·政务
尧炎科技3 天前
防潮抗变形,就选纯品梅花全桉多层板
大数据
程序员大阳3 天前
副队长大数据教程(5)--集群情况下虚拟机网络配置
大数据·集群·nat·网路
自由能燃气设备3 天前
商用全预混低氮冷凝锅炉免费方案vs付费方案对比+选型避坑指南
大数据·数据库·人工智能
科创致远3 天前
科创致远 ESOP 系统核心效能与实战价值展示
大数据·数据库·人工智能·精益工程
嘉立创FPC苗工3 天前
FPC与机器人的双向赋能,解锁智能装备进化新势能
大数据·人工智能·制造·fpc·电路板
AI职业加油站3 天前
AI智能体应用工程师证书:政策红利下的职业新风口
大数据·运维·人工智能·学习·职场发展
龙亘川3 天前
一网统管AI平台民生业务实践:基于城市数字底座赋能公积金业务服务升级
大数据·安全·智慧城市·开源软件·数据可视化·政务
码流子3 天前
高速公路安全监测实践:碰撞监测预警+物联网底座,从感知到处置的闭环
大数据·人工智能·物联网·算法·架构