Flink的CheckPoint与SavePoint

Flink的Checkpoint(检查点)和Savepoint(保存点)是两种不同的状态快照机制,主要区别如下:

1. ‌Checkpoint‌

  • ‌核心功能‌:周期性触发的容错机制,用于故障恢复时保证状态一致性57。
  • ‌触发方式‌:由JobManager周期性触发,通过Barrier机制实现分布式快照26。
  • ‌存储内容‌:保存所有算子的状态快照,支持Exactly-Once语义15。
  • ‌生命周期‌:自动管理,旧检查点会被清理以释放存储空间7。
  • ‌性能影响‌:高频检查点可能增加系统开销,需平衡间隔时间与恢复速度7。

2. ‌Savepoint‌

  • ‌核心功能‌:手动触发的全局状态快照,用于有计划的状态迁移或版本升级5。
  • ‌触发方式‌:通过命令行或API显式触发,生成完整应用状态副本5。
  • ‌存储内容‌:包含检查点数据及作业拓扑信息,支持跨集群或配置恢复5。
  • ‌生命周期‌:需手动维护,长期保留需额外存储成本5。
  • ‌用途扩展‌:支持作业暂停后从相同状态恢复,或Flink版本升级时的兼容性测试5。

3. ‌关键差异‌

‌特性‌ ‌Checkpoint‌ ‌Savepoint‌
‌触发方式‌ 自动周期性触发27 手动触发5
‌存储目标‌ 故障恢复(短期)7 运维操作(长期)5
‌数据包含‌ 仅状态快照1 状态+作业拓扑5
‌性能优化‌ 增量快照(RocksDB支持)3 全量快照5

4. ‌技术实现‌

  • ‌Checkpoint‌:基于Chandy-Lamport算法,通过Barrier对齐实现一致性快照26。
  • ‌Savepoint‌:依赖Checkpoint机制生成,但需额外序列化作业元数据5。

两者共同构成Flink的容错与运维能力,Checkpoint保障实时可靠性,Savepoint提供灵活性运维支持

相关推荐
飞飞传输1 小时前
飞驰云联文件交换建设方法论:从单点传输到持续治理
大数据·运维·安全
得帆低代码PaaS1 小时前
企业级 Agent 架构:MCP、Integration、数据与治理能力
大数据·人工智能·架构·ai agent·企业数字化·mcp
TDengine (老段)7 小时前
TDengine IDMP 十大实用功能(9)
大数据·数据库·人工智能·物联网·时序数据库·tdengine·idmp
播播资源9 小时前
同账户实测 11 个多模态模型:图像 0.03 元起、竖屏视频 8 元一条,最贵和最便宜差 267 倍
大数据·人工智能·深度学习
全栈陈序员11 小时前
Git】从入门到精通(八)—— git log:查看提交历史
大数据·git·elasticsearch
演艺大赏11 小时前
NiFi 从 3 台扩到 25 台:三轮扩容后我才明白,证书必须全量重签、安装包绝对不能拷
大数据
做科研的周师兄11 小时前
【R语言实战】MixSIAR 氢氧同位素水源解析全流程:从混合空间校验到贝叶斯 MCMC 收敛诊断(后附完整代码)
java·大数据·开发语言
isfox13 小时前
MapReduce 数据清洗:脏数据进来,干净数据出去,连 Reduce 都省了
大数据
Francek Chen15 小时前
【大数据处理与分析】数据仓库Hive:09 Hive 编程实践
大数据·数据仓库·hive·hadoop·sql
其实防守也摸鱼1 天前
个人学习 Pwn 思路:从基础到漏洞利用的进阶路径
大数据·前端·人工智能·chrome·算法·安全·网络安全