Flink从入门到上天系列第十九篇:Flink当中的容错机制

一:检查点的概念

在流处理中,我们可以用存档读档的思路,就是将之前某个时间点所有的状态保存下来,这份 "存档" 就是我们所谓的 "检查点"(checkpoint)。

遇到故障重启的时候,我们可以从检查点中 "读档",恢复出之前的状态,这样就可以回到当时保存的一刻接着处理数据了。

这里所谓的 "检查",其实是针对故障恢复的结果而言的:故障恢复之后继续处理的结果,应该与发生故障前完全一致,我们需要 "检查" 结果的正确性。所以,有时又会把 checkpoint 叫做 "一致性检查点"。

二:检查点的保存

1:周期性的触发保存

"随时存档"确实恢复起来方便,可是需要我们不停地做存档操作。如果每处理一条数据就进行检查点的保存,当大量数据同时到来时,就会耗费很多资源来频繁做检查点,数据处理的速度就会受到影响。所以在Flink中,检查点的保存是周期性触发的,间隔时间可以进行设置。

2:保存的时间点

我们应该在所有任务(算子)都恰好处理完一个相同的输入数据的时候,将它们的状态保存下来。

这样做可以实现一个数据被所有任务(算子)完整地处理完,状态得到了保存。

一条数据从头走到尾了。是怎么确定的?Barrair分界线。一种特殊的消息,JobManager发出的,从左到右会让一条正常消息完整执行完毕,路过哪个子任务,哪个子任务就做检查点。这样就可以保障分界线之前的数据完整的完成计算。

如果出现故障,我们恢复到之前保存的状态,故障时正在处理的所有数据都需要重新处理;我们只需要让源(source)任务向数据源重新提交偏移量、请求重放数据就可以了。当然这需要源任务可以把偏移量作为算子状态保存下来,而且外部数据源能够重置偏移量;kafka就是满足这些要求的一个最好的例子。

3:保存的具体流程

检查点的保存,最关键的就是要等所有任务将"同一个数据"处理完毕。下面我们通过一个具体的例子,来详细描述一下检查点具体的保存过程。

回忆一下我们最初实现的统计词频的程序------word count。这里为了方便,我们直接从数据源读入已经分开的一个个单词,例如这里输入的是:

"hello","world","hello","flink","hello","world","hello","flink"...

我们所需要的就是每个任务都处理完"hello"之后保存自己的状态。

这里边体现的是状态。紫色的是状态。上边的一个方格代表:一个槽。一个子任务。

检查点就是对状态的一个备份,是状态的一个副本,是状态的一个快照。

三:检查点的保存和恢复流程

1:定期保存检查点

当我们需要保存检查点时,就是在所有任务处理完同一条数据后,对状态做个快照保存下来。例如我们输入数据为:"hello", "world", "hello", "flink", "hello", "world", "hello", "flink"......

我们所需要的就是每个任务都处理完 "hello" 之后保存自己的状态。

2:模拟处理过程发生故障

比方说某子任务突然宕机。

3:通过最近检查点进行恢复

首先需要重启计算机,重新启动任务。此时任务中都是空的, 然后读取检查点,重置各个算子状态。

4:重置偏移量

从检查点恢复状态后还有一个问题:如果直接继续处理数据,那么保存检查点之后、到发生故障这段时间内的数据,也就是第 4、5 个数据("flink" "hello")就相当于丢掉了;这会造成计算结果的错误。

为了不丢数据,我们应该从保存检查点后开始重新读取数据,这可以通过 Source 任务向外部数据源重新提交偏移量(offset)来实现。

做完了这些,整个系统的状态已经完全退回到了检查点保存的那一刻。

5:继续处理数据即可

继续处理数据即可,首先是重放数据,然后处理新数据即可。

相关推荐
leisoo80973 小时前
100GBA股股票数据怎么存ClickHouseRedisMySQLJSON完整对比
大数据·linux·服务器·开发语言·python
AI产品测评官3 小时前
突破系统割裂困局:2026企业级AI招聘架构如何迈向“原生全流程”?
大数据·微服务·架构
梦梦代码精3 小时前
连锁品牌数字化:从门店扩张到用户资产运营的技术底座
大数据·人工智能·低代码·docker·开源·代码规范
沐梯子6 小时前
具身智能爆发前夜的“数据饥渴”:2026机器人数据采集产业链选型解析
大数据·人工智能·机器人
ltqvibe6 小时前
企业数智化中台的五层架构——AI框架为什么需要纵向贯通
大数据·人工智能·架构
吴free7 小时前
现代软件工程新范式:Harness、LOOP与Graph工程深度解析
大数据·软件工程
阿里云大数据AI技术9 小时前
官宣|Apache Fluss 毕业成为顶级项目,湖流一体开启 Agentic Lake 全面实时化时代
人工智能·flink
MuMuMu12239 小时前
工业园区 VOCs 绿岛集中治理:越华环保集团项目技术方案与工程实践
大数据·运维
AI大模型-小雄9 小时前
Codex写分页接口为什么越翻越慢?用Cursor Pagination解决重复与漏数据
大数据·数据库·elasticsearch·搜索引擎·chatgpt·后端开发·codex
品牌测评9 小时前
大模型推理算力平台推荐分享|六家平台计费与架构拆解
大数据·人工智能·架构