Flink概念-状态一致性的三种级别

  1. 最多一次(At- Most - Once
  2. 至少一次(A t - Least - Once
  3. 精确一次(E xactly-Once

1.最多一次(At- Most - Once

不开启checkpoint,相当于数据只处理一次,不会检查数据是否丢失;

2.至少一次(A t - Least - Once

开启checkpoint,barrier对齐的至少一次,进行barrier对齐时,barrier后面的数据也会接着处理,存入到状态中,当发生故障恢复时候,越过barrier的数据会被重新读取,再进行一次计算,所以就会导致结果数据变大变多(重复计算);

3.精确一次(E xactly-Once )重点!!!

开启checkpoint,barrier对齐时,barrier后面的数据先不处理,等待barrier对齐完成,做完自身的状态数据备份,barrier后面的数据才能接着处理

相关推荐
lilye6617 分钟前
精益数据分析(17/126):精益画布与创业方向抉择
大数据·数据挖掘·数据分析
思通数科AI全行业智能NLP系统3 小时前
AI视频技术赋能幼儿园安全——教师离岗报警系统的智慧守护
大数据·人工智能·安全·目标检测·目标跟踪·自然语言处理·ocr
程序员沉梦听雨5 小时前
【Elasticsearch】入门篇
大数据·elasticsearch·搜索引擎
Gadus_5 小时前
Elasticsearch性能优化实践
大数据·elasticsearch·搜索引擎·性能优化
riveting7 小时前
SD2351核心板:重构AI视觉产业价值链的“超级节点”
大数据·linux·图像处理·人工智能·重构·智能硬件
欧先生^_^8 小时前
Spark 的一些典型应用场景及具体示例
大数据·分布式·spark
八股文领域大手子9 小时前
如何给GitHub项目提PR(踩坑记录
大数据·elasticsearch·github
爱吃龙利鱼9 小时前
elk中kibana一直处于可用和降级之间且es群集状态并没有问题的解决方法
大数据·elk·elasticsearch
腾讯云大数据9 小时前
腾讯云ES一站式RAG方案获信通院“开源大模型+软件创新应用”精选案例奖
大数据·elasticsearch·开源·云计算·腾讯云
苍煜9 小时前
Elasticsearch(ES)中的脚本(Script)
大数据·elasticsearch·搜索引擎