Flink一致性实现原理

Apache Flink 的一致性原理核心位于检查点机制(Checkpointing)和两阶段提交协议(Two-Phase Commit) 它贯穿周期性保存分散式快照状态,在故障发生时将任务恢复至一致的状态,实现了从数据源到下游系统的「精确一次」(Exactly-Once)处理语义。

Flink一致性实现的关键原理

全局快照机制(Checkpointing)

  • 原理:基于 Chandy-Lamport 算法,Flink 在数据流中插入特殊的「Barrier」(屏障)来标记检查点。
  • 过程:Barrier从数据源传播到整个作业图(Job Graph)。当侵犯子收到所有输入流的Barrier后,保留当前状态(State)异步写入持久化存储(如HDFS),这就是JobManager确认。
  • 一致性保证:只有当所有攻击子都成功完成快照,该检查点才算完成。如果故障发生,系统会重置到最后一次成功的检查点,并重新处理数据后续。

端到端 Exactly-Once 一致性(两阶段提交)

  • 原理:为了保证 Flink 内部状态一致,而且输出到外部系统(如 Kafka)的结果也一致,Flink 使用了两阶段提交。
  • 步骤:
    预提交(Pre-commit):当Checkpoint Barrier到达Sink算子时,Sink启动事务将数据写入外部系统,但暂不提交。
    提交(Commit):JobManager确认所有算子Checkpoint成功后,通知Sink执行实际的提交操作。
  • 故障恢复:若在提交前出现故障,事务会自动回滚,确保数据不重复、不丢失。
    数据一致性级别
  • At-most-once:最多一次,故障时无法恢复,数据可能丢失。
  • At-least-once:至少一次,故障恢复时数据可能重复处理,但不会丢失(常规检查点)。
  • Exactly-once:精确一次,故障时恢复状态与未发生故障时完全一致。

总结来说,Flink的一致性靠Checkpoint恢复状态,靠Two-Phase Commit同步状态与外部输出。

相关推荐
字节跳动数据平台1 小时前
火山引擎 VeKnow 落地指南(下):从知识编译到价值渗透
大数据
AI源码3 小时前
基于Spark的期刊推荐系统的设计与实现
大数据·分布式·spark
玩美数据3 小时前
海外市场数据分析驱动下的产业趋势演变与竞争格局深度解读
大数据·人工智能
wuyk55517 小时前
Spider-第16讲-线程池与竞态问题
大数据·爬虫·python·elasticsearch·搜索引擎
数字新视界20 小时前
全国产化动环监控平台在机房智能化管理中的应用探索
大数据·人工智能·数据中心·机房管理·模块化机房
TDengine (老段)1 天前
TDengine IDMP 预测、异常检测与数据插补
大数据·数据库·人工智能·时序数据库·tdengine·涛思数据·idmp
字节跳动数据平台1 天前
火山引擎 VeKnow 落地指南(上):从选场景到知识治理
大数据
安心联-车辆监控管理系统1 天前
以事实为基础,详解车辆主动安全相关功能
大数据·人工智能·安全
大大大大晴天2 天前
每天认识一个组件:VictoriaMetrics
大数据
龙腾AI白云2 天前
具身智能的空间导航与未知环境探索
大数据·数据库·人工智能·机器学习·知识图谱